KR20120069429A - System and method for radial distortion compensation of camera based on projector and epipolar geometry - Google Patents

System and method for radial distortion compensation of camera based on projector and epipolar geometry Download PDF

Info

Publication number
KR20120069429A
KR20120069429A KR1020100130976A KR20100130976A KR20120069429A KR 20120069429 A KR20120069429 A KR 20120069429A KR 1020100130976 A KR1020100130976 A KR 1020100130976A KR 20100130976 A KR20100130976 A KR 20100130976A KR 20120069429 A KR20120069429 A KR 20120069429A
Authority
KR
South Korea
Prior art keywords
image
epipolar
distortion
line
projector
Prior art date
Application number
KR1020100130976A
Other languages
Korean (ko)
Other versions
KR101222009B1 (en
Inventor
김대식
김연수
이석한
Original Assignee
성균관대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 성균관대학교산학협력단 filed Critical 성균관대학교산학협력단
Priority to KR1020100130976A priority Critical patent/KR101222009B1/en
Publication of KR20120069429A publication Critical patent/KR20120069429A/en
Application granted granted Critical
Publication of KR101222009B1 publication Critical patent/KR101222009B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/387—Composing, repositioning or otherwise geometrically modifying originals
    • H04N1/3877—Image rotation
    • H04N1/3878—Skew detection or correction

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Projection Apparatus (AREA)
  • Image Processing (AREA)
  • Transforming Electric Information Into Light Information (AREA)

Abstract

PURPOSE: A radiation distortion correcting system of a camera and a method thereof are provided to correct distortion of a camera lens in a measuring environment. CONSTITUTION: An image projecting apparatus(100) projects a straight line pattern according to an epipolar line. An image obtaining apparatus(200) obtains an image of an object scene to which the straight line pattern is projected. A distortion correcting unit(300) includes a fundamental matrix estimation module, an epipolar line operation module, and a distortion line obtaining module.

Description

프로젝터와 에피폴라 기하학을 기반으로 한 카메라의 방사 왜곡 보정 시스템과 그 방법{SYSTEM AND METHOD FOR RADIAL DISTORTION COMPENSATION OF CAMERA BASED ON PROJECTOR AND EPIPOLAR GEOMETRY}FIELD OF METHOD FOR RADIAL DISTORTION COMPENSATION OF CAMERA BASED ON PROJECTOR AND EPIPOLAR GEOMETRY}

본 발명은 카메라의 방사 왜곡 보정 방법에 대한 것으로서, 특히 프로젝터와 에피폴라 기하학을 기반으로 한 카메라의 방사 왜곡 보정 방법에 관한 것이다.The present invention relates to a method for correcting a radiation distortion of a camera, and more particularly, to a method for correcting a radiation distortion of a camera based on a projector and an epipolar geometry.

광각(넓은 각도) 카메라는 다양한 환경에서 널리 사용되고 있으며 특히 로봇 자율주행 및 감시등과 같은 컴퓨터 비전 응용 기술 분야에서 널리 사용되고 있다, 그러나 광각(넓은 각도) 카메라는 렌즈의 물리적인 구조상 협각 카메라에 비해 방사 왜곡에 영향을 심하게 받으며 왜곡된 영상은 선 또는 코너 등의 특징점을 추출하거나 대응점 추출에 심각한 오류를 초래한다.Wide angle cameras are widely used in a variety of environments, especially in computer vision application technologies such as robotic autonomous driving and surveillance, but wide angle cameras are more sensitive than narrow angle cameras due to the physical structure of the lens. The image is severely affected by the distortion, and the distorted image causes serious errors in extracting feature points such as lines or corners or extracting corresponding points.

즉 카메라의 방사 왜곡의 수정은 특징점 추출 및 대응점의 정확도를 결정하는 중요한 요소이며 종래의 방사왜곡을 보정하는 다양한 방법들이 제안되었다.That is, the correction of the radiation distortion of the camera is an important factor in determining the accuracy of the feature point extraction and the corresponding point, and various methods for correcting the conventional radiation distortion have been proposed.

DLT와 Tasi 방법은 3D 교정 물체를 이용하며 Zhang의 방법은 평면 교정 물체를 이용한다. 그러나 공간 상에 교정 물체의 위치에 의해 방사 왜곡 교정 결과가 가변하는 불안정성을 보여준다. Backer와 Bove의 방법은 소실점의 기하학적으로 불변의 제약조건을 이용한다. Devenay와 Faugres의 방법은 방사왜곡이 존재하지 않는 경우에는 공간상에 직선의 카메라의 영상 면에 투영되면 직선으로 변환되며 방사왜곡이 존재하는 경우에는 공간상에 직선의 투영되면 영상면에서 곡선으로 변환되며 곡선을 직선으로 적합(fitting)하면서 왜곡을 보정한다. 위와 같은 방법은 공간상에 가구 또는 건물등과 같은 직선의 존재하는 특정 물체가 존재해야 하며 공간상에 직선과 곡선의 혼재 해 있는 경우에 교정 오류를 초래한다. The DLT and Tasi methods use 3D corrective objects, and Zhang's method uses planar corrected objects. However, it shows instability that the result of the radiation distortion correction varies by the position of the calibration object in space. Backer and Bove's method uses geometrically invariant constraints of vanishing points. Devenay and Faugres's method converts a straight line when projected onto the camera's image plane in space if no radiation distortion exists, and converts it to a curve when the projected line is projected in space when radial distortion exists. The distortion is corrected by fitting the curve in a straight line. This method requires that certain objects exist in a straight line, such as furniture or buildings, in the space and cause a calibration error if the straight lines and curves are mixed in the space.

Fitzgibbon는 대응점으로부터 방사 왜곡 매개 변수와 기본 매트릭스(fundamental matrix)를 동시에 획득한다. 그러나, 이 알고리즘은 두 개의 카메라 렌즈의 방사왜곡의 다를 경우에는 적용될 수 없다. Thirthala와 Pollefeys는 방사의 3초점 텐서(radial trifocal tensor)로 방사왜곡을 보정하는 방법을 제안했으며, Hartely와 Kang는 방사왜곡을 보정하기 위해 특정 왜곡 모델 및 매개변수가 필요하지 않는 비반복적 방법으로 극값(local minima)의 수렴 문제를 극복하며 왜곡의 중심을 계산한다. Hartely와 Kang이 제안한 교정 방법은 자가교정(self-calibration)의 경우 왜곡 보정 결과 값의 안정적이지 않기 때문에 실제적으로 안정적인 왜곡 보정 결과를 위해서는 평면 교정물체를 필요로 한다. 위에서와 같은 기존의 방법들은 카메라의 방사왜곡을 교정하기 위해서는 교정 물체 및 공간상에 특징점(직선,구,교차점 등)를 필요로 한다.Fitzgibbon simultaneously acquires the radiation distortion parameters and the fundamental matrix from the corresponding points. However, this algorithm cannot be applied if the radiation distortion of the two camera lenses is different. Thirthala and Pollefeys proposed a method of correcting radial distortion with a radial trifocal tensor, while Hartely and Kang used non-repetitive methods that did not require specific distortion models and parameters to compensate for radial distortion. Calculate the center of distortion by overcoming the convergence problem of the local minima. Since the calibration method proposed by Hartely and Kang is not stable in the case of self-calibration, a planar calibration object is required for the practically stable distortion correction. Conventional methods as described above require feature points (straight line, sphere, intersection point, etc.) on the calibration object and space to correct the radiation distortion of the camera.

본 발명의 목적은 카메라의 방사 왜곡을 보정할 수 있는 프로젝터와 에피폴라 기하학을 기반으로 한 카메라의 방사 왜곡 보정 시스템과 그 방법을 제공하는 것이다.An object of the present invention is to provide a system and method for correcting a radiation distortion of a camera based on a projector and an epipolar geometry capable of correcting a radiation distortion of a camera.

상술한 목적을 달성하기 위해 본 발명은 에피폴라 라인에 따른 직선 패턴을 대상 장면에 투사하는 영상 투사 장치와, 상기 직선 패턴이 투사된 대상 장면의 영상을 획득하는 영상 획득 장치, 및 상기 영상 획득 장치에서 획득된 대상 장면 영상의 직선 패턴을 상기 에피폴라 라인과 비교하여 보정하는 왜곡 보정부를 포함하는 것을 특징으로 하는 프로젝터와 에피폴라 기하학을 기반으로 한 카메라의 방사 왜곡 보정 시스템을 제공한다. 상기 왜곡 보정부는, 상기 에피폴라 라인을 연산하기 위한 기본 매트릭스(fundamental matrix)를 추정하는 기본 매트릭스 추정 모듈과, 상기 기본 매트릭스 추정 모듈에서 추정된 기본 매트릭스를 기초로 상기 에피폴라 라인을 연산하는 에피폴라 라인 연산 모듈과, 상기 영상 획득 장치로 획득된 대상 장면에서 직선 패턴을 획득하는 왜곡 라인 획득 모듈, 및 상기 왜곡 라인 획득 모듈에 의해 획득된 직선 패턴의 왜곡을 보정하는 왜곡 보정 모듈을 포함한다. 상기 왜곡 보정 모듈은 상기 왜곡 라인 획득 모듈에서 획득된 직선 패턴을 상기 에피폴라 라인과 비교하는 라인 비교 모듈과, 상기 라인 비교 모듈에서 비교되어 도출된 왜곡 오류에 따라 상기 직선 패턴을 상기 에피폴라 라인에 근사시켜 직선 패턴의 왜곡을 보정하는 라인 근사 모듈을 포함한다. 상기 기본 매트릭스(

Figure pat00001
)는
Figure pat00002
에 의해 규정되며, 상기
Figure pat00003
는 상기 대상 장면에 패턴을 투사하는 영상 투사 장치, 상기
Figure pat00004
는 상기 대상 장면의 영상을 획득하는 영상 획득 장치이다.
Figure pat00005
와
Figure pat00006
는 각각에 영상 투사 장치와 획득 장치의 대응점의 행렬을 의미하며
Figure pat00007
에
Figure pat00008
는
Figure pat00009
의 전치행렬을 의미한다.In order to achieve the above object, the present invention provides an image projection apparatus for projecting a linear pattern along an epipolar line to a target scene, an image acquisition apparatus for acquiring an image of the target scene onto which the linear pattern is projected, and the image acquisition apparatus. And a distortion correction unit for correcting the linear pattern of the target scene image obtained by comparing with the epipolar line, thereby providing a radiation distortion correction system of the camera based on the epipolar geometry of the projector. The distortion correction unit includes: a base matrix estimation module for estimating a fundamental matrix for calculating the epipolar line, and an epipolar for calculating the epipolar line based on the base matrix estimated by the base matrix estimation module And a line operation module, a distortion line acquisition module for acquiring a straight line pattern in the target scene acquired by the image acquisition device, and a distortion correction module for correcting the distortion of the straight line pattern acquired by the distortion line acquisition module. The distortion correction module may include a line comparison module for comparing the straight line pattern obtained by the distortion line acquisition module with the epipolar line, and the straight line pattern with the epipolar line according to the distortion error derived from the line comparison module. And a line approximation module for approximating and correcting the distortion of the straight line pattern. The base matrix (
Figure pat00001
)
Figure pat00002
Prescribed by
Figure pat00003
Is an image projection device for projecting a pattern on the target scene;
Figure pat00004
Is an image acquisition device for acquiring an image of the target scene.
Figure pat00005
Wow
Figure pat00006
Denotes a matrix of corresponding points of the image projection device and the acquisition device, respectively,
Figure pat00007
on
Figure pat00008
Is
Figure pat00009
Means transpose of.

상기 영상 투사 장치에서 투사되는 에피폴라 라인(

Figure pat00010
)은
Figure pat00011
이다. 상기 에피폴라 라인과 대응하며, 상기 영상 획득 장치에 의해 획득되어야 할 직선 패턴(
Figure pat00012
)은
Figure pat00013
이다. 상기 라인 근사 모듈은 상기 영상 획득 장치에서 획득되는 직선 패턴을 상기
Figure pat00014
로 근사시킨다.Epipolar lines projected from the image projector (
Figure pat00010
)silver
Figure pat00011
to be. A straight line pattern corresponding to the epipolar line and to be acquired by the image acquisition device (
Figure pat00012
)silver
Figure pat00013
to be. The line approximation module generates a straight line pattern obtained by the image acquisition device.
Figure pat00014
To approximate.

또한, 본 발명은 부호화된 패턴을 대상 장면에 투사하는 단계와, 상기 대상 장면의 영상을 획득하는 단계와, 상기 영상에서 대응점을 획득하는 단계와, 상기 대응점을 기초로 기본 매트릭스를 추정하는 단계와, 상기 기본 매트릭스를 기초로 연산된 에피폴라 라인으로 직선 패턴을 대상 장면에 조광하는 단계와, 상기 직선 패턴이 조광된 대상 장면의 영상에서 왜곡된 직선 패턴을 획득하는 단계와, 상기 검출된 직선 패턴의 상대 오차를 판단하는 단계, 및 상기 직선 패턴의 오류를 최소화하는 단계를 포함하는 것을 특징으로 하는 프로젝터와 에피폴라 기하학을 기반으로 한 카메라의 방사 왜곡 보정 방법을 제공한다.The present invention also provides a method of projecting an encoded pattern onto a target scene, acquiring an image of the target scene, acquiring a corresponding point from the image, estimating a base matrix based on the corresponding point; Dimming a straight line pattern in a target scene using an epipolar line calculated based on the basic matrix, acquiring a distorted straight line pattern in an image of the target scene in which the straight line pattern is dimmed, and detecting the straight line pattern A method of correcting a radiation distortion of a camera based on a projector and an epipolar geometry, comprising: determining a relative error of the signal; and minimizing an error of the linear pattern.

상기 대응점을 기초로 기본 매트릭스를 추정하는 단계에서, 상기 기본 매트릭스(

Figure pat00015
)는
Figure pat00016
에 의해 규정되며, 상기
Figure pat00017
는 상기 대상 장면에 패턴을 투사하는 영상 투사 장치를 의미하고, 상기
Figure pat00018
는 상기 대상 장면의 영상을 획득하는 영상 획득 장치를 의미하며, 상기
Figure pat00019
는 영상 투사 장치에 대한 영상 획득 장치의 대응점 행렬을 의미하고, 상기
Figure pat00020
는 영상 획득 장치에 대한 영상 투사 장치의 대응점 행렬을 의미하며, 상기
Figure pat00021
는 전치행렬을 의미한다. 상기 기본 매트릭스를 기초로 연산된 에피폴라 라인으로 직선 패턴을 대상 장면에 조광하는 단계에서, 상기 에피폴라 라인(
Figure pat00022
)은
Figure pat00023
이다. 상기 기본 매트릭스를 기초로 연산된 에피폴라 라인으로 직선 패턴을 대상 장면에 조광하는 단계는, 상기 에피폴라 라인과 대응하며, 상기 영상 획득 장치에 의해 획득되어야 할 직선 패턴(
Figure pat00024
)인
Figure pat00025
과 상기 직선 패턴을 일치시켜 대상 장면에 조광하는 단계를 포함한다.In estimating a base matrix based on the corresponding point, the base matrix (
Figure pat00015
)
Figure pat00016
Prescribed by
Figure pat00017
Means an image projection device for projecting a pattern onto the target scene,
Figure pat00018
Refers to an image acquisition device for acquiring an image of the target scene.
Figure pat00019
Denotes a corresponding point matrix of the image acquisition device with respect to the image projection device,
Figure pat00020
Denotes a corresponding point matrix of the image projection apparatus with respect to the image acquisition apparatus.
Figure pat00021
Means transpose. In the step of dimming a straight line pattern in a target scene with an epipolar line calculated based on the basic matrix, the epipolar line (
Figure pat00022
)silver
Figure pat00023
to be. Dimming a straight line pattern to a target scene using an epipolar line calculated based on the basic matrix corresponds to the epipolar line and includes a straight line pattern to be obtained by the image capturing apparatus.
Figure pat00024
)sign
Figure pat00025
And dimming the straight line pattern with the target scene.

본 발명은 프로젝터에서 투사된 에피폴라 라인을 카메라로 획득하여 왜곡 오류를 보정함으로써 카메라와 프로젝터의 내부, 외부 파라미터의 사전지식이 필요치 않으며, 프로젝터와 카메라의 상대적인 위치에 관계가 상관 없으며, 공간상에 교정 물체 및 특징점이 존재하지 않거나 대응점이 존재하지 않는 측정 환경에서도 카메라 렌즈의 왜곡을 보정할 수 있는 프로젝터와 에피폴라 기하학을 기반으로 한 카메라의 방사 왜곡 보정 시스템과 그 방법을 제공할 수 있다.The present invention does not require prior knowledge of the camera and the internal and external parameters of the camera and the projector by acquiring the epipolar line projected from the projector with the camera and corrects the distortion error. It is possible to provide a system and a method for correcting a radiation distortion of a camera based on a projector and epipolar geometry capable of correcting distortion of a camera lens even in a measurement environment in which corrective objects and feature points do not exist or corresponding points do not exist.

도 1은 본 발명에 따른 프로젝터와 에피폴라 기하학을 기반으로 한 카메라의 방사 왜곡 보정 시스템의 개념도.
도 2는 본 발명에 따른 프로젝터와 에피폴라 기하학을 기반으로 한 카메라의 방사 왜곡 보정 시스템의 대응점 기하학을 설명하기 위한 개념도.
도 3은 본 발명에 따른 프로젝터와 에피폴라 기하학을 기반으로 한 카메라의 방사 왜곡 보정 시스템의 왜곡 오류를 설명하기 위한 개념도.
도 4는 본 발명에 따른 프로젝터와 에피폴라 기하학을 기반으로 한 카메라의 방사 왜곡 보정 방법의 순서도.
도 5는 본 발명에 따른 프로젝터와 에피폴라 기하학을 기반으로 한 카메라의 방사 왜곡 보정 방법의 에피폴라 라인에 따라 대상 장면에 투사된 직선 패턴의 이미지와, 보정되지 않은 대상 장면의 이미지.
도 6은 본 발명에 따른 프로젝터와 에피폴라 기하학을 기반으로 한 카메라의 방사 왜곡 보정 방법의 양선형 보간법을 이용한 역 맵핑을 설명하기 위한 개념도.
도 7은 본 발명에 따른 프로젝터와 에피폴라 기하학을 기반으로 한 카메라의 방사 왜곡 보정 방법에 의해 보정된 이미지와, 보정되지 않은 이미지.
도 8은 본 발명에 따른 프로젝터와 에피폴라 기하학을 기반으로 한 카메라의 방사 왜곡 보정 방법에 의해 보정된 평면 교정 장비와, 보정되지 않아 왜곡된 평면 교정 장비의 이미지.
도 9는 본 발명에 따른 프로젝터와 에피폴라 기하학을 기반으로 한 카메라의 방사 왜곡 보정 방법에 의해 보정된 대상 장면의 이미지와, 보정되지 않아 왜곡된 대상 장면의 이미지.1 is a conceptual diagram of a radiation distortion correction system of a camera based on a projector and epipolar geometry according to the present invention.
2 is a conceptual diagram for explaining a corresponding point geometry of the radiation distortion correction system of the camera based on the projector and the epipolar geometry according to the present invention.
3 is a conceptual diagram illustrating a distortion error of a radiation distortion correction system of a camera based on a projector and epipolar geometry according to the present invention;
4 is a flowchart of a method of correcting a radiation distortion of a camera based on a projector and epipolar geometry according to the present invention.
5 is an image of a straight pattern projected on a target scene according to the epipolar line of the method for correcting the radiation distortion of a camera based on a projector and epipolar geometry according to the present invention, and an image of an uncorrected target scene.
6 is a conceptual diagram illustrating inverse mapping using bilinear interpolation of a method for correcting a radiation distortion of a camera based on a projector and epipolar geometry according to the present invention.
7 is an image and an uncorrected image corrected by the method of correcting the radiation distortion of the camera based on the projector and the epipolar geometry according to the present invention.
8 is an image of the plane correction equipment corrected by the radiation distortion correction method of the camera based on the projector and the epipolar geometry according to the present invention, and the image of the plane correction equipment not corrected distorted.
9 is an image of a target scene corrected by a radiation distortion correction method of a camera based on a projector and epipolar geometry according to the present invention, and an image of the target scene not corrected and distorted.

이하, 도면을 참조하여 본 발명의 실시예를 상세히 설명하기로 한다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings.

그러나 본 발명은 이하에서 개시되는 실시예에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이다. 도면상의 동일 부호는 동일한 요소를 지칭한다.
It will be apparent to those skilled in the art that the present invention may be embodied in many different forms and should not be construed as limited to the embodiments set forth herein. Rather, these embodiments are provided so that this disclosure will be thorough and complete, It is provided to let you know. Like reference numerals refer to like elements throughout.

도 1은 본 발명에 따른 프로젝터와 에피폴라 기하학을 기반으로 한 카메라의 방사 왜곡 보정 시스템의 개념도이다.1 is a conceptual diagram of a radiation distortion correction system of a camera based on a projector and epipolar geometry according to the present invention.

본 발명에 따른 프로젝터와 에피폴라 기하학을 기반으로 한 카메라의 방사 왜곡 보정 시스템은 도 1에 도시된 바와 같이, 패턴을 투사하는 영상 투사 장치(100)와, 패턴을 획득하는 영상 획득 장치(200), 및 왜곡을 보정하는 왜곡 보정부(300)를 포함한다.As shown in FIG. 1, the radiation distortion correction system of the camera based on the projector and the epipolar geometry according to the present invention includes an image projection apparatus 100 for projecting a pattern and an image acquisition apparatus 200 for acquiring a pattern. And a distortion correcting unit 300 for correcting the distortion.

영상 투사 장치(100)는 대상 장면에 패턴을 투사하기 위한 것으로서, 본 실시예는 영상 투사 장치(100)로 프로젝터를 예시한다. 또한, 본 발명은 하나 이상의 프로젝터가 구비될 수 있다. 물론, 본 발명은 패턴을 투사하기 위한 장비로 프로젝터를 예시하였으나, 이에 한정되는 것은 아니다. 즉, 본 발명은 패턴을 투사하기 위한 장비로 프로젝터를 포함하는 모든 광학 장비를 사용할 수 있다.The image projection apparatus 100 is for projecting a pattern onto a target scene, and this embodiment illustrates a projector with the image projection apparatus 100. In addition, the present invention may be equipped with one or more projectors. Of course, the present invention exemplifies a projector as equipment for projecting a pattern, but is not limited thereto. That is, the present invention can use all the optical equipment including the projector as the equipment for projecting the pattern.

영상 획득 장치(200)는 프로젝터에서 투사된 패턴을 획득하기 위한 것으로서, 본 실시예는 영상 획득 장치(200)로 카메라를 예시한다. 또한, 본 발명은 카메라 역시 프로젝터와 동일하게 하나 이상의 카메라가 구비될 수 있다. 후술되는 본 실시예에서는 하나의 프로젝터와 하나의 카메라가 구비되는 것을 예시한다.The image acquisition apparatus 200 is for acquiring a pattern projected by the projector, and this embodiment illustrates a camera with the image acquisition apparatus 200. In addition, the camera may also be provided with one or more cameras, like the projector. In the present embodiment described below, it is illustrated that one projector and one camera are provided.

왜곡 보정부(300)는 카메라의 왜곡을 보정하기 위한 것으로서, 대응점 획득 모듈(310)과, 기본 매트릭스 추정 모듈(320)과, 에피폴라 라인 연산 모듈(330), 왜곡 라인 획득 모듈(340), 및 왜곡 보정 모듈(350)을 포함한다.The distortion correction unit 300 is for correcting the distortion of the camera, and includes a corresponding point obtaining module 310, a basic matrix estimation module 320, an epipolar line calculation module 330, a distortion line obtaining module 340, And a distortion correction module 350.

대응점 획득 모듈(310)은 프로젝터와 카메라 사이의 대응점을 획득한다. 이를 위해, 프로젝터에서 대상 장면에 직선 패턴을 투사하며, 카메라는 이를 획득한다.The correspondence point acquisition module 310 obtains a correspondence point between the projector and the camera. To do this, the projector projects a straight pattern onto the target scene, which the camera acquires.

기본 매트릭스 추정 모듈(320)은 에피폴라 라인을 연산하기 위한 기본 매트릭스를 추정한다. 여기서, 기본 매트릭스는 8-포인트 알고리듬에 의해 추정될 수 있다. 이러한 기본 매트릭스 추정에 대해서는 후술될 본 발명에 따른 프로젝터와 에피폴라 기하학을 기반으로 한 카메라의 방사 왜곡 보정 방법에서 자세히 설명하기로 한다.The base matrix estimation module 320 estimates a base matrix for calculating the epipolar line. Here, the base matrix can be estimated by an eight-point algorithm. This basic matrix estimation will be described in detail in a method of correcting a radiation distortion of a camera based on a projector and an epipolar geometry according to the present invention, which will be described later.

에피폴라 라인 연산 모듈(330)은 기본 매트릭스 추정 모듈(320)에서 추정된 기본 매트릭스를 이용하여 프로젝터에서 투사될 에피폴라 라인을 연산한다.The epipolar line operation module 330 calculates the epipolar line to be projected by the projector using the base matrix estimated by the base matrix estimation module 320.

도 2는 본 발명에 따른 프로젝터와 에피폴라 기하학을 기반으로 한 카메라의 방사 왜곡 보정 시스템의 대응점 기하학을 설명하기 위한 개념도이다. 또한, 도 3은 본 발명에 따른 프로젝터와 에피폴라 기하학을 기반으로 한 카메라의 방사 왜곡 보정 시스템의 왜곡 오류를 설명하기 위한 개념도이다.2 is a conceptual diagram illustrating a corresponding point geometry of a radiation distortion correction system of a camera based on a projector and an epipolar geometry according to the present invention. 3 is a conceptual diagram illustrating a distortion error of a radiation distortion correction system of a camera based on a projector and an epipolar geometry according to the present invention.

왜곡 라인 획득 모듈(340)은 프로젝터에서 대상 장면에 투사된 에피폴라 라인, 즉, 직선 패턴을 카메라로 획득한다. 이때, 대상 장면에 투사된 패턴을 카메라로 획득할 때 카메라 렌즈의 왜곡에 의해 직선 패턴 자체가 왜곡되어 획득된다. 도 2에 도시된 바와 같이, 에피폴라 라인 연산 모듈(330)에서 연산되는 에피폴라 라인, 즉,

Figure pat00026
라인을 따라 프로젝터에서 투사되어 카메라에 의해 획득된 패턴은
Figure pat00027
라인과 대응된다. 즉, 프로젝터에서 투사된
Figure pat00028
라인 상에 위치한 점은 카메라에서 획득된
Figure pat00029
라인 상의 점과 대응되어야 한다. 하지만, 획득된 패턴은 카메라 렌즈의 왜곡에 의해 왜곡된 라인과 같이 획득되어 프로젝터에서 투사된 에피폴라 라인과 차이가 있으며, 이는 도 3의 왜곡 오류와 같이 나타난다.The distortion line acquisition module 340 acquires an epipolar line, that is, a straight line pattern, projected from the projector onto the target scene by the camera. At this time, when the pattern projected on the target scene is acquired by the camera, the linear pattern itself is distorted by the distortion of the camera lens. As shown in FIG. 2, the epipolar line computed by the epipolar line calculation module 330, that is,
Figure pat00026
The pattern projected by the projector along the line and obtained by the camera
Figure pat00027
Matches a line. That is, projected from the projector
Figure pat00028
Points on the line are taken from the camera
Figure pat00029
It must correspond to a point on the line. However, the acquired pattern is obtained as a line distorted by the distortion of the camera lens and is different from the epipolar line projected from the projector, which appears as a distortion error of FIG. 3.

왜곡 보정 모듈(350)은 왜곡 라인 획득 모듈(340)로 획득된 대상 장면의 직선 패턴의 왜곡을 보정하기 위한 것으로서, 라인 비교 모듈(352)과 라인 근사 모듈(354)을 포함한다.The distortion correction module 350 is for correcting the distortion of the straight line pattern of the target scene acquired by the distortion line acquisition module 340, and includes a line comparison module 352 and a line approximation module 354.

라인 비교 모듈(352)은 왜곡 라인 획득 모듈(340)로 획득한 직선 패턴을 에피폴라 라인 연산 모듈(330)에서 연산된 에피폴라 라인과 비교한다. 또한, 이와 같이 라인 비교 모듈(352)에 의해 도 3에 도시된 바와 같이, 왜곡 오류를 파악할 수 있다. 이때, 직선 패턴과 에피폴라 라인과의 비교는, 정확하게는 에피폴라 기하학에 의해 도출된 프로젝터에서 투사되는 에피폴라 라인과 대응되는 카메라의 에피폴라 라인이다.The line comparison module 352 compares the straight line pattern acquired by the distortion line acquisition module 340 with the epipolar line calculated by the epipolar line operation module 330. In addition, as illustrated in FIG. 3, the line comparison module 352 may identify the distortion error. At this time, the comparison between the linear pattern and the epipolar line is exactly the epipolar line of the camera corresponding to the epipolar line projected from the projector derived by the epipolar geometry.

라인 근사 모듈(354)은 라인 비교 모듈(352)에서 도출된 왜곡 오류를 보정하기 위해 왜곡된 라인을 에피폴라 라인으로 근사시킨다.The line approximation module 354 approximates the distorted line to the epipolar line to correct the distortion error derived from the line comparison module 352.

상술한 바와 같이, 본 발명은 프로젝터에서 투사된 에피폴라 라인을 카메라로 획득하여 왜곡 오류를 보정함으로써, 카메라 렌즈의 왜곡을 보정할 수 있는 프로젝터와 에피폴라 기하학을 기반으로 한 카메라의 방사 왜곡 보정 시스템을 제공할 수 있다.
As described above, the present invention obtains an epipolar line projected from a projector with a camera and corrects distortion errors, thereby correcting a radiation distortion correction system of a camera based on a projector and an epipolar geometry capable of correcting distortion of a camera lens. Can be provided.

다음은 본 발명에 따른 프로젝터와 에피폴라 기하학을 기반으로 한 카메라의 방사 왜곡 보정 방법에 대해 도면을 참조하여 설명하고자 한다. 후술할 내용 중 전술된 본 발명에 따른 프로젝터와 에피폴라 기하학을 기반으로 한 카메라의 방사 왜곡 보정 시스템의 설명과 중복되는 내용은 생략하거나 간략히 설명하기로 한다.Next, a method of correcting a radiation distortion of a camera based on a projector and an epipolar geometry according to the present invention will be described with reference to the accompanying drawings. In the following description, the overlapping description of the radiation distortion correction system of the camera based on the projector and the epipolar geometry according to the present invention will be omitted or briefly described.

도 4는 본 발명에 따른 프로젝터와 에피폴라 기하학을 기반으로 한 카메라의 방사 왜곡 보정 방법의 순서도이다.4 is a flowchart illustrating a method of correcting a radiation distortion of a camera based on a projector and an epipolar geometry according to the present invention.

본 발명에 따른 프로젝터와 에피폴라 기하학을 기반으로 한 카메라의 방사 왜곡 보정 방법은 도 4에 도시된 바와 같이, 영상을 획득하는 단계(S1)와, 대응점을 획득하는 단계(S2)와, 기본 매트릭스를 추정하는 단계(S3)와, 에피폴라 라인으로 직선 패턴을 조광하는 단계(S4)와, 왜곡된 직선 패턴을 검출하는 단계(S5)와, 상대 오차를 판단하는 단계(S6)와, 오류를 최소화하는 단계(S7)와, 오류가 최소화된 왜곡 매개변수를 회득하는 단계(S8)를 포함한다.As shown in FIG. 4, the method of correcting the radiation distortion of the camera based on the projector and the epipolar geometry according to the present invention includes acquiring an image (S1), acquiring a corresponding point (S2), and a basic matrix. Estimating (S3), dimming the linear pattern with the epipolar line (S4), detecting the distorted linear pattern (S5), determining the relative error (S6), and errors Minimizing (S7) and acquiring a distortion parameter with minimized error (S8).

영상을 획득하는 단계(S1)는 프로젝터에서 부호화된 패턴을 투사하고 카메라로 대상 장면의 영상을 획득한다.Acquiring an image (S1) projects an encoded pattern in a projector and acquires an image of a target scene with a camera.

대응점을 획득하는 단계(S2)는 프로젝터와 카메라 사이의 대응점을 획득한다. 우선, 프로젝터 렌즈의 방사 왜곡과 접선수차(tangential distortion)가 거의 0이라고 가정한다. 에피폴라 기하학을 추정하기 위해, 프로젝터는 우선, 대상 장면의 부호화된 패턴을 조광시키고 카메라는 해당 패턴을 획득한다. 프로젝터 렌즈의 왜곡이 없다고 가정하며, 왜곡은 카메라 렌즈에서만 발생한다. 카메라 영상 면에 주점(principal point) 근방에서 방사왜곡의 영향을 가장 적게 받으므로, 카메라 영상 면에 주점(principal point) 근방의 점과 대응하는 프로젝터의 점을 이용하여 대응점을 획득한다.Acquiring a corresponding point (S2) obtains a corresponding point between the projector and the camera. First, assume that the radiation distortion and tangential distortion of the projector lens are almost zero. To estimate the epipolar geometry, the projector first dims the encoded pattern of the subject scene and the camera obtains the pattern. It is assumed that there is no distortion of the projector lens, and the distortion occurs only in the camera lens. Since the radiation distortion is least affected by the principal point in the camera image plane, the corresponding point is obtained by using the projector point corresponding to the point near the principal point in the camera image plane.

기본 매트릭스를 추정하는 단계(S3)는 대응점을 획득하는 단계(S2)에서 획득된 대응점을 이용하여 기본 매트릭스를 추정한다. 8-점 알고리듬(8-point algorithm)은 기본 매트릭스를 계산하기 위한 가장 단순한 방법이다. 기본 매트릭스는 아래의 수학식1에 의해 규정된다.In estimating the base matrix (S3), the base matrix is estimated using the corresponding point obtained in the step (S2). The 8-point algorithm is the simplest way to calculate the base matrix. The basic matrix is defined by Equation 1 below.

Figure pat00030
Figure pat00030

여기서, 아래 첨자

Figure pat00031
와 아래 첨자
Figure pat00032
는 각각 프로젝터와 카메라를 나타낸다. 8-점 알고리듬은 반올림 오차와 불일치된 점들과 같은 노이즈에 의해 심각하게 영향을 받는다.
Figure pat00033
에 대응점이 주어지면, 정규화된 8-점 알고리듬에 의해 일정한 크기의 기본 매트릭스를 추정할 수 있다. 정규화된의 데이터는 아래의 수학식2에 의해 추정될 수 있다.Where subscript
Figure pat00031
And subscript
Figure pat00032
Denotes a projector and a camera, respectively. The eight-point algorithm is severely affected by noise such as rounding errors and inconsistent points.
Figure pat00033
Given a correspondence point, we can estimate the base matrix of constant size by the normalized 8-point algorithm. The normalized data may be estimated by Equation 2 below.

Figure pat00034
Figure pat00034

여기서,

Figure pat00035
와
Figure pat00036
은 이동 및 크기 조절의 변환 행렬로 구성된다. 정규화된 기본 매트릭스는 아래의 수학식3에 의해 추정될 수 있다.here,
Figure pat00035
Wow
Figure pat00036
Consists of a transformation matrix of movement and scaling. The normalized base matrix can be estimated by Equation 3 below.

Figure pat00037
Figure pat00037

수학식3으로부터 정규화된 매트릭스

Figure pat00038
는 계수(rank) 2를 가지고 있지 않기 때문에 특이제약 조건(singularity constraint)을 실시한다. 추정된
Figure pat00039
는 단일 값 분해(Singular Value Decomposition, SVD)에 의해
Figure pat00040
로 대체된다. 그 후 역정규화(denormalization)는 아래의 수학식4에 의해 추정될 수 있다.Normalized Matrix from Equation 3
Figure pat00038
Since S does not have rank 2, it enforces a singularity constraint. Estimated
Figure pat00039
Is determined by Singular Value Decomposition (SVD).
Figure pat00040
Is replaced by. Denormalization can then be estimated by Equation 4 below.

Figure pat00041
Figure pat00041

여기서, 기본 행렬(

Figure pat00042
)은 두 영상 면에 대응점
Figure pat00043
와
Figure pat00044
에 대응점으로 추정된 것이다.
Figure pat00045
와
Figure pat00046
에 대응하는 에피폴라 라인(epipolar line)은 다음의 수학식5 및 수학식6과 같이 파생될 수 있다.Where the default matrix (
Figure pat00042
) Corresponds to the two image planes
Figure pat00043
Wow
Figure pat00044
It is estimated to correspond to.
Figure pat00045
Wow
Figure pat00046
An epipolar line corresponding to may be derived as shown in Equations 5 and 6 below.

Figure pat00047
Figure pat00047

Figure pat00048
Figure pat00048

또한, 여기서, 왜곡 모델을 사용하여 화소 좌표(

Figure pat00049
,
Figure pat00050
)와, 왜곡된 영상 좌표(
Figure pat00051
,
Figure pat00052
) 사이에 관계는 수학식 7과 같다. Also, here, using the distortion model, pixel coordinates (
Figure pat00049
,
Figure pat00050
) And distorted image coordinates (
Figure pat00051
,
Figure pat00052
) Is expressed by Equation (7).

Figure pat00053
Figure pat00053

여기서,

Figure pat00054
는 영상의 주점(principal point)이며,
Figure pat00055
는 종횡비이다. 또한, 왜곡이 발생한 좌표에서 왜곡이 발생하지 않은 좌표로의 변환 관계는 아래의 수학식8과 같이 유도된다.here,
Figure pat00054
Is the principal point of the image,
Figure pat00055
Is the aspect ratio. In addition, the conversion relation from the coordinates where the distortion occurs to the coordinates where the distortion does not occur is derived as shown in Equation 8 below.

Figure pat00056
Figure pat00056

여기서,

Figure pat00057
는 왜곡되지 않은 좌표이며,
Figure pat00058
는 왜곡된 좌표를 나타낸다. 방사 왜곡에 가장 큰 영향을 미치는 1차 계수
Figure pat00059
만을 고려하면
Figure pat00060
,
Figure pat00061
는 다음의 수학식9와 같이 나타낼 수 있다.here,
Figure pat00057
Is the undistorted coordinates,
Figure pat00058
Denotes distorted coordinates. First order coefficient that has the greatest impact on radiation distortion
Figure pat00059
Only considering
Figure pat00060
,
Figure pat00061
Can be expressed as Equation 9 below.

Figure pat00062
Figure pat00062

여기서,

Figure pat00063
는 왜곡된 반경이고,
Figure pat00064
,
Figure pat00065
은 왜곡의 중심이다.here,
Figure pat00063
Is the distorted radius,
Figure pat00064
,
Figure pat00065
Is the center of distortion.

도 5는 본 발명에 따른 프로젝터와 에피폴라 기하학을 기반으로 한 카메라의 방사 왜곡 보정 방법의 에피폴라 라인에 따라 대상 장면에 투사된 직선 패턴의 이미지와, 보정되지 않은 대상 장면의 이미지이다.5 is an image of a straight pattern projected on a target scene and an image of an uncorrected target scene according to the epipolar line of the method for correcting the radiation distortion of the camera based on the projector and the epipolar geometry according to the present invention.

에피폴라 라인으로 직선 패턴을 조광하는 단계(S4)는 프로젝터에서 에피폴라 라인을 따라 직선 패턴을 투사할 수 있도록, 대상 장면에서 획득된 부호화된 패턴으로부터 기본 매트릭스를 추정하는 단계(S3)에서 도출된 에피폴라 라인과 일치시킨다. 또한, 일치된 에피폴라 라인을 따라 대상 장면에 직선 패턴을 조광한다. 즉, 에피폴라 라인을 적용하지 않은 직선 패턴을 대상 장면에 투사하면 도 5(a)에 도시된 바와 같이, 직선 패턴은 대상 장면에 위치된 물체의 외형과 방사 왜곡에 영향을 받아 휘게 된다. 하지만, 프로젝터가 에피폴라 라인으로 직선 패턴을 조광시킬 때, 프로젝터 렌즈의 왜곡이 존재하지 않는 경우, 직선 패턴은 도 5(b)에 도시된 바와 같이, 대상 장면의 물체의 외형과 프로젝터와 카메라 사이의 상대적 위치(pose)의 변화에 의해 변형되지 않는다. 즉, 에피폴라 라인으로 조광된 직선패턴은 단지 방사 왜곡에 의해서만 왜곡된다. 왜곡된 직선을 검출하기 위한 단계(S5)의 일예로 동적 프로그래밍(dynamic programming)인 수학식은 10으로부터 나타 낼 수 있지만 실시예 일 뿐이며 왜곡된 라인을 검출하는 다양한 영상처리를 적용할 수 있다.Dimming the straight pattern with the epipolar line (S4) is derived from estimating the base matrix from the encoded pattern obtained in the target scene (S3) so that the projector can project the straight pattern along the epipolar line. Match the epipolar line. It also illuminates a straight pattern in the subject scene along the matched epipolar line. That is, when projecting a straight pattern without applying the epipolar line to the target scene, as shown in FIG. 5 (a), the straight pattern is bent under the influence of the appearance and radiation distortion of the object located in the target scene. However, when the projector illuminates the linear pattern with the epipolar line, if there is no distortion of the projector lens, the linear pattern is shown between the appearance of the object of the target scene and the projector and the camera, as shown in FIG. It is not deformed by a change in its relative position. That is, the linear pattern dimmed by the epipolar line is distorted only by radiation distortion. As an example of the step S5 for detecting the distorted straight line, the equation of dynamic programming may be represented by 10, but it is only an embodiment and various image processing for detecting the distorted line may be applied.

Figure pat00066
Figure pat00066

여기서,

Figure pat00067
는
Figure pat00068
에 할당된 누적된 밝기 값이며,
Figure pat00069
는 교점
Figure pat00070
와
Figure pat00071
사이의 부분적인 밝기 값이다. 또한, 아래의 수학식11과 같이 최적화할 수 있다.here,
Figure pat00067
Is
Figure pat00068
Cumulative brightness value assigned to.
Figure pat00069
Is the intersection
Figure pat00070
Wow
Figure pat00071
The partial brightness value in between. In addition, it can be optimized as shown in Equation 11 below.

Figure pat00072
Figure pat00072

여기서,

Figure pat00073
은 끝점 노드이고,
Figure pat00074
은 시작점과 끝점 사이의 개수이다. 또한,
Figure pat00075
은 첫 번째와 마지막 레이어 사이 경로의 비용을 최대로 하는 라인을 검출한다. 여기에서 검출된 라인은 가우시안 밝기 분포를 가지고 있다고 가정하면, 라인의 중심은 포물선의 적합에 의해 쉽게 계산될 수 있다.here,
Figure pat00073
Is the endpoint node,
Figure pat00074
Is the number between the start and end points. Also,
Figure pat00075
Detects the line that maximizes the cost of the path between the first and last layer. Assuming that the detected line has a Gaussian brightness distribution, the center of the line can be easily calculated by the parabolic fit.

이때, 검출된 직선 패턴은 분모가 0이 되어 값이 무한대로 가는 계산상의 문제를 회피하기 위해 극좌표에 의해 표시된다.At this time, the detected linear pattern is represented by polar coordinates in order to avoid a computational problem in which the denominator becomes 0 and the value goes to infinity.

Figure pat00076
Figure pat00076

여기서,

Figure pat00077
는 원점(origin)으로부터의 라인의 거리이고,
Figure pat00078
는
Figure pat00079
방향 라인의 노말 벡터의 방향이다.here,
Figure pat00077
Is the distance of the line from the origin,
Figure pat00078
Is
Figure pat00079
Direction of the normal vector of the direction line.

Figure pat00080
Figure pat00080

여기서,

Figure pat00081
와
Figure pat00082
는 왜곡된 라인(distorted line)의 중심의 좌표이다.
Figure pat00083
와
Figure pat00084
는 열과 행의 개수가 상이 할 수 있으므로
Figure pat00085
와
Figure pat00086
로 쓰여질 수 있다. 또한, 최소 제곱법에 의해 왜곡 오류와 점으로부터 에피폴라 라인까지의 거리를 아래의 수학식14 내지 수학식17과 같이 측정할 수 있다. 이때, 왜곡 오류는 에피폴라 라인으로부터 거리의 제곱의 합이다.here,
Figure pat00081
Wow
Figure pat00082
Is the coordinate of the center of the distorted line.
Figure pat00083
Wow
Figure pat00084
May have different numbers of columns and rows,
Figure pat00085
Wow
Figure pat00086
Can be written as In addition, by the least square method, the distortion error and the distance from the point to the epipolar line can be measured as in Equations 14 to 17 below. The distortion error is then the sum of the squares of the distances from the epipolar lines.

Figure pat00087
Figure pat00087

Figure pat00088
Figure pat00088

Figure pat00089
Figure pat00089

Figure pat00090
Figure pat00090

비선형 알고리듬(LM algorithm, newton algorithm)과 같은 반복적 오류 최소화 기법을 이용하여 왜곡 오류를 최소로 하기 위해 파라미터를 최적화할 수 있다. 왜곡 오류가 0에 근접되면, 왜곡된 직선은 에피폴라 라인처럼 영상에서 직선으로 변환 될 것이다.Iterative error minimization techniques, such as nonlinear algorithms (LM algorithm, newton algorithm), can be used to optimize parameters to minimize distortion errors. If the distortion error approaches zero, the distorted straight line will be converted from the image to a straight line like an epipolar line.

한편, 에피폴라 라인으로 직선 패턴을 조광하는 단계(S4)에서 검출된 직선 패턴의 방정식은 다른 방식으로 도출될 수도 있다. 프로젝터와 카메라 사이의 대응점으로부터 기본 매트릭스를 추정한 후, 프로젝터에 의해 투사된 에피폴라 라인 상의 한 점을 알고 있으면, 투사된 직선 패턴에 대응하는 카메라에서 획득되는 직선 패턴의 방정식의 계수인

Figure pat00091
과
Figure pat00092
및
Figure pat00093
은 쉽게 구할 수 있다. 여기서, 카메라에서 획득되는 직선 패턴의 방정식은 아래와 같이 표현할 수 있다.On the other hand, the equation of the linear pattern detected in the step (S4) dimming the linear pattern with the epipolar line may be derived in other ways. After estimating the base matrix from the correspondence point between the projector and the camera, and knowing a point on the epipolar line projected by the projector, it is the coefficient of the equation of the linear pattern obtained from the camera corresponding to the projected linear pattern.
Figure pat00091
and
Figure pat00092
And
Figure pat00093
Is easily available. Here, the equation of the linear pattern obtained by the camera can be expressed as follows.

Figure pat00094
Figure pat00094

즉, 직선의 방정식의

Figure pat00095
과
Figure pat00096
및
Figure pat00097
을 구하는 방정식은 우선, 전술된 수학식6에 의해 아래의 수학식을 도출한다.That's the equation of the straight line
Figure pat00095
and
Figure pat00096
And
Figure pat00097
The equation to obtain is first derived from the following equation (6).

Figure pat00098
Figure pat00098

여기서, 직선 벡터

Figure pat00099
는 3×1 벡터이며,
Figure pat00100
의 1행 1열은
Figure pat00101
이며, 2행 1열은
Figure pat00102
이다. 또한,
Figure pat00103
은 아래의 수학식에 의해 구해질 수 있다.Where straight line vector
Figure pat00099
Is a 3 × 1 vector,
Figure pat00100
Row 1, column 1 of
Figure pat00101
2 rows and 1 column
Figure pat00102
to be. Also,
Figure pat00103
Can be obtained by the following equation.

Figure pat00104
Figure pat00104

여기서,

Figure pat00105
과
Figure pat00106
은 구해진 값이며, 모든 에피폴라 라인은 에피폴을 지나야 하므로
Figure pat00107
와
Figure pat00108
는 에피폴을 대입하면 구할 수 있다. 이때, 에피폴을 구하는 방정식은 아래와 같다.here,
Figure pat00105
and
Figure pat00106
Is the value obtained, and all epipolar lines must pass through the epipole.
Figure pat00107
Wow
Figure pat00108
Can be found by substituting Epipole. At this time, the equation for obtaining the epipole is as follows.

Figure pat00109
Figure pat00109

Figure pat00110
는 3×1 벡터이며,
Figure pat00111
의 1행 1열과 2행 1열은 카메라의 특정 좌표를 나타낸다.
Figure pat00110
Is a 3 × 1 vector,
Figure pat00111
Row 1, Column 1 and Row 2, Column 1 represent specific coordinates of the camera.

하지만, 본 발명은 이에 한정되는 것은 아니며, 다른 방법 의해 카메라에서 획득되는 직선 패턴의 방정식을 구할 수도 있다. 이는 아래의 방정식이 표현된다.However, the present invention is not limited thereto, and the equation of the linear pattern obtained by the camera may be obtained by another method. This is represented by the equation below.

Figure pat00112
Figure pat00112

여기서,

Figure pat00113
는 교대 행렬(skew symmetric matrix)이며, 직선 벡터
Figure pat00114
는 3×1 벡터이며, 1행 1열은
Figure pat00115
이며, 2행 1열은
Figure pat00116
이다. 또한,
Figure pat00117
은 전술된 수학식20에 의해 구해질 수 있다. 또한,
Figure pat00118
과
Figure pat00119
은 이미 구해진 값이며, 모든 에피폴라 라인은 에피폴을 지나야 하므로
Figure pat00120
와
Figure pat00121
의 한 점에 에피폴을 대입하면 구할 수 있다. 또한, 에피폴을 구하는 방정식은 전술된 수학식21과 같다. 여기서, 카메라의 왜곡이 존재하지 않는 경우에는 전술된 수학식18은 0이 될 것이다. 하지만 카메라의 왜곡이 존재하는 경우에는 카메라에 의해 획득된 대상 장면의 영상에서 직선 패턴은 왜곡에 의해 휘어지게 된다. 이때, 카메라에서 획득된 대상 장면의 영상에서 검출된 직선 패턴 상의 점들을 수학식18에 대입하면 직선 패턴의 왜곡 오류는 아래의 수학식23 및 수학식 24와 같다.here,
Figure pat00113
Is a skew symmetric matrix and is a straight vector
Figure pat00114
Is a 3 × 1 vector, where 1 row and 1 column
Figure pat00115
2 rows and 1 column
Figure pat00116
to be. Also,
Figure pat00117
Can be obtained by the above equation (20). Also,
Figure pat00118
and
Figure pat00119
Is the value already obtained, and all epipolar lines must pass through the epipole.
Figure pat00120
Wow
Figure pat00121
It can be found by substituting Epipol at a point. In addition, the equation for obtaining the epipole is as shown in Equation 21 described above. In this case, when the distortion of the camera does not exist, Equation 18 described above will be zero. However, when the distortion of the camera exists, the linear pattern is bent by the distortion in the image of the target scene acquired by the camera. At this time, if the points on the linear pattern detected in the image of the target scene obtained by the camera is substituted into Equation 18, the distortion error of the linear pattern is expressed by Equation 23 and Equation 24 below.

Figure pat00122
Figure pat00122

Figure pat00123
Figure pat00123

도 6은 본 발명에 따른 프로젝터와 에피폴라 기하학을 기반으로 한 카메라의 방사 왜곡 보정 방법의 양선형 보간법을 이용한 역 맵핑을 설명하기 위한 개념도이다.FIG. 6 is a conceptual diagram illustrating inverse mapping using bilinear interpolation of a method for correcting a radiation distortion of a camera based on a projector and an epipolar geometry according to the present invention.

카메라에서 획득된 대상 장면의 영상의 A 공간 변형은 왜곡되지 않은 이미지와 왜곡된 이미지 사이의 기하학적 관계를 나타낸다. 이때, 순방향 맵핑은 홀과 오버랩이라는 단점을 가지고 있으므로 본 발명은 도 6에 도시된 바와 같이, 양선형 보간법을 이용하는 역맵핑을 사용한다.The A spatial transformation of the image of the target scene acquired by the camera represents the geometric relationship between the undistorted image and the distorted image. In this case, since the forward mapping has a disadvantage of overlapping with the hole, the present invention uses reverse mapping using bilinear interpolation, as shown in FIG. 6.

Figure pat00124
Figure pat00124

여기서,

Figure pat00125
은 역 왜곡 함수이다.here,
Figure pat00125
Is the inverse distortion function.

왜곡된 직선 패턴을 검출하는 단계(S5)는 직선 패턴이 조광된 대상 장면을 영상 획득 장치로 획득한 후, 획득된 대상 장면 영상에서 왜곡된 직선 패턴을 검출한다. 이때, 직선 패턴은 동적 프로그래밍과 같은 혹은 다른 직선 검출 알고리듬을 이용하여 카메라에서 획득된 이미지 내에서 아래의 수학식12 혹은 18과 같이 검출된다.In the detecting of the distorted straight line pattern (S5), the target scene in which the straight line pattern is dimmed is acquired by the image capturing apparatus and then the distorted straight line pattern is detected in the obtained target scene image. At this time, the straight line pattern is detected as shown in Equation 12 or 18 in the image obtained by the camera using a linear detection algorithm such as dynamic programming or another.

상대 오차를 판단하는 단계(S6)는 왜곡된 직선 패턴을 검출하는 단계(S5)에서 검출된 직선 패턴을 기본 매트릭스를 추정하는 단계(S3)에서 도출된 에피폴라 라인과 비교하여 왜곡 오류가 임계값 이하인지, 이상인지 판단한다. 또한, 이에 따라, 오류를 최소화하는 단계(S8) 또는 파라미터를 최적화하는 단계(S7)를 수행한다.In the determining of the relative error (S6), the distortion error is thresholded by comparing the detected linear line pattern with the epipolar line derived in the step S3 of estimating the base matrix (S3). It determines whether it is below or abnormal. Further, accordingly, the step of minimizing the error (S8) or optimizing the parameter (S7) is performed.

오류를 최소화하는 단계(S8)는 상대 오차를 판단하는 단계(S6)에서 판단된 왜곡 오류가 임계값 이하일 경우, 왜곡 오류를 최소화하는 왜곡 매개 변수를 획득한다. In the step of minimizing the error (S8), when the distortion error determined in the step (S6) of determining the relative error is less than or equal to the threshold, a distortion parameter for minimizing the distortion error is obtained.

파라미터를 최적화하는 단계(S8)는 왜곡 오류가 임계값 이상일 경우, LM 알고리듬을 사용하여 왜곡된 직선을 직선으로 적합하면서 왜곡 오류를 최소화하는 파라미터를 추정한다.In step S8, when the distortion error is greater than or equal to the threshold, the LM algorithm is used to estimate a parameter that minimizes the distortion error while fitting the distorted straight line into a straight line.

다음은 전술된 본 발명에 따른 프로젝터와 에피폴라 기하학을 기반으로 한 카메라의 방사 왜곡 보정 방법의 테스트 결과에 대해서 설명한다.Next, a test result of the method for correcting the radiation distortion of the camera based on the projector and the epipolar geometry according to the present invention described above will be described.

본 테스트에 사용된 구조광 시스템은 640×480 해상도를 가진 Flea2(Point Grey) 3.5mm 카메라와 1024×768 해상도를 가진 DLP 프로젝터(Optoma)로 구성된다. 여기서, 부호화된 패턴를 사용하여 대응점을 획득했고, 기본 매트릭스는 카메라 영상면에 주점(principlal point)으로부터 거의 50픽셀까지 분포된 대응점을 이용하는 일반적인 8포인트 알고리듬에 의해 추정되었다.The structured light system used in this test consists of a Flea2 (Point Gray) 3.5mm camera with 640 × 480 resolution and a DLP projector (Optoma) with 1024 × 768 resolution. Here, a corresponding point was obtained using the encoded pattern, and the base matrix was estimated by a general 8 point algorithm using a corresponding point distributed from a principal point to almost 50 pixels on the camera image plane.

도 7은 본 발명에 따른 프로젝터와 에피폴라 기하학을 기반으로 한 카메라의 방사 왜곡 보정 방법에 의해 보정된 이미지와, 보정되지 않은 이미지이다.7 is an image corrected by the radiation distortion correction method of the camera based on the projector and the epipolar geometry according to the present invention, and the uncorrected image.

왜곡된 이미지를 보여주는 도 7(a)와 본 발명에 따른 프로젝터와 에피폴라 기하학을 기반으로 한 카메라의 방사 왜곡 보정 방법에 의해 보정된 도 7(b)를 비교하면, 도 7(a)는 프로젝터에서 투사된 직선 패턴이 대상 장면에 위치된 방사 왜곡에 의해 휘어진 것을 볼 수 있다. 또한, 도 7(b)에서는 본 발명에 따른 프로젝터와 에피폴라 기하학을 기반으로 한 카메라의 방사 왜곡 보정 방법에 의해 대상 장면에 투사된 직선 패턴의 왜곡되지 않을 것을 볼 수 있다. 이때, 에피폴라 라인을 따라 투사된 직선 패턴이 이미지에서 넓게 펼쳐질 때 더욱 정확한 결과를 추정할 수 있다.Comparing FIG. 7 (a) showing a distorted image with FIG. 7 (b) corrected by the method of correcting the radiation distortion of a camera based on the epipolar geometry of the projector according to the present invention, FIG. It can be seen that the straight line pattern projected at is bent by the radiation distortion located in the target scene. In addition, in FIG. 7B, it can be seen that the straight pattern projected on the target scene is not distorted by the method of correcting the radiation distortion of the camera based on the projector and the epipolar geometry according to the present invention. At this time, when the linear pattern projected along the epipolar line is widely spread in the image, a more accurate result can be estimated.

도 8은 본 발명에 따른 프로젝터와 에피폴라 기하학을 기반으로 한 카메라의 방사 왜곡 보정 방법에 의해 보정된 평면 교정 물체와, 보정되지 않은 왜곡된 평면 교정 물체의 이미지이다. 또한, 도 9는 본 발명에 따른 프로젝터와 에피폴라 기하학을 기반으로 한 카메라의 방사 왜곡 보정 방법에 의해 보정된 대상 장면의 영상과, 보정되지 않아 왜곡된 대상 장면의 영상이다.8 is an image of a planar corrected object corrected by the method of correcting the radiation distortion of the camera based on the projector and the epipolar geometry according to the present invention, and an image of the uncorrected distorted planar corrected object. 9 is an image of a target scene corrected by a method of correcting a radiation distortion of a camera based on a projector and an epipolar geometry according to the present invention, and an image of the target scene which is not corrected and distorted.

도 8과 도 9에 도시된 바와 같이, 본 발명에 따른 프로젝터와 에피폴라 기하학을 기반으로 한 카메라의 방사 왜곡 보정 방법을 이용하여 카메라의 방사 왜곡을 효과적으로 보정할 수 있는 것을 알 수 있다.As shown in FIG. 8 and FIG. 9, it can be seen that the radiation distortion of the camera can be effectively corrected by using the radiation distortion correction method of the camera based on the projector and the epipolar geometry according to the present invention.

상술한 바와 같이, 본 발명은 프로젝터에서 투사된 에피폴라 라인을 카메라로 획득하여 왜곡 오류를 보정함으로써, 카메라 렌즈의 왜곡을 보정할 수 있는 프로젝터와 에피폴라 기하학을 기반으로 한 카메라의 방사 왜곡 보정 방법을 제공할 수 있다.As described above, the present invention obtains an epipolar line projected from a projector with a camera to correct distortion errors, thereby correcting a radiation distortion of a camera based on a projector and epipolar geometry capable of correcting distortion of a camera lens. Can be provided.

이상에서는 도면 및 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허청구범위에 기재된 본 발명의 기술적 사상으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.Although described above with reference to the drawings and embodiments, those skilled in the art can be variously modified and changed within the scope of the invention without departing from the spirit of the invention described in the claims below. I can understand.

100: 영상 투사 장치 200: 영상 획득 장치
300: 왜곡 보정부 310: 대응점 획득 모듈
320: 기본 매트릭스 추정 모듈 330: 에피폴라 라인 연산 모듈
340: 왜곡 라인 획득 모듈 350: 왜곡 보정 모듈
352: 라인 비교 모듈 354: 라인 근사 모듈100: image projection device 200: image acquisition device
300: distortion correction unit 310: corresponding point acquisition module
320: basic matrix estimation module 330: epipolar line calculation module
340: distortion line acquisition module 350: distortion correction module
352: line comparison module 354: line approximation module

Claims (11)

에피폴라 라인에 따른 직선 패턴을 대상 장면에 투사하는 영상 투사 장치와,
상기 직선 패턴이 투사된 대상 장면의 영상을 획득하는 영상 획득 장치,
및 상기 영상 획득 장치에서 획득된 대상 장면 영상의 직선 패턴을 상기 에피폴라 라인과 비교하여 보정하는 왜곡 보정부를 포함하는 것을 특징으로 하는 프로젝터와 에피폴라 기하학을 기반으로 한 카메라의 방사 왜곡 보정 시스템.An image projection device for projecting a straight pattern along the epipolar line onto the target scene;
An image acquisition device for acquiring an image of a target scene from which the straight line pattern is projected;
And a distortion correction unit for correcting the linear pattern of the target scene image acquired by the image capturing apparatus by comparing with the epipolar line. 청구항 1에 있어서,
상기 왜곡 보정부는,
상기 에피폴라 라인을 연산하기 위한 기본 매트릭스를 추정하는 기본 매트릭스 추정 모듈과,
상기 기본 매트릭스 추정 모듈에서 추정된 기본 매트릭스를 기초로 상기 에피폴라 라인을 연산하는 에피폴라 라인 연산 모듈과,
상기 영상 획득 장치로 획득된 대상 장면에서 직선 패턴을 획득하는 왜곡 라인 획득 모듈, 및
상기 왜곡 라인 획득 모듈에 의해 획득된 직선 패턴의 왜곡을 보정하는 왜곡 보정 모듈을 포함하는 것을 특징으로 하는 프로젝터와 에피폴라 기하학을 기반으로 한 카메라의 방사 왜곡 보정 시스템.The method according to claim 1,
The distortion correction unit,
A base matrix estimation module for estimating a base matrix for calculating the epipolar line;
An epipolar line operation module configured to calculate the epipolar line based on the base matrix estimated by the base matrix estimation module;
A distortion line acquisition module for acquiring a straight line pattern from the target scene acquired by the image acquisition device;
And a distortion correction module for correcting the distortion of the straight line pattern obtained by the distortion line acquisition module. 청구항 2에 있어서,
상기 왜곡 보정 모듈은 상기 왜곡 라인 획득 모듈에서 획득된 직선 패턴을 상기 에피폴라 라인과 비교하는 라인 비교 모듈과,
상기 라인 비교 모듈에서 비교되어 도출된 왜곡 오류에 따라 상기 직선 패턴을 상기 에피폴라 라인에 근사시켜 직선 패턴의 왜곡을 보정하는 라인 근사 모듈을 포함하는 것을 특징으로 하는 프로젝터와 에피폴라 기하학을 기반으로 한 카메라의 방사 왜곡 보정 시스템.The method according to claim 2,
The distortion correction module may further include a line comparison module configured to compare the straight line pattern obtained by the distortion line acquisition module with the epipolar line.
And a line approximation module for correcting the distortion of the straight line pattern by approximating the straight line pattern to the epipolar line according to the distortion error which is compared and derived from the line comparing module. Camera's Radiation Distortion Correction System. 청구항 3에 있어서,
상기 기본 매트릭스(
Figure pat00126
)는
Figure pat00127
에 의해 규정되며,
상기
Figure pat00128
는 상기 대상 장면에 패턴을 투사하는 영상 투사 장치를 의미하고,
상기
Figure pat00129
는 상기 대상 장면의 영상을 획득하는 영상 획득 장치를 의미하며,
상기
Figure pat00130
는 영상 투사 장치에 대한 영상 획득 장치의 대응점 행렬을 의미하고,
상기
Figure pat00131
는 영상 획득 장치에 대한 영상 투사 장치의 대응점 행렬을 의미하며,
상기
Figure pat00132
는 전치행렬을 의미하는 것을 특징으로 하는 프로젝터와 에피폴라 기하학을 기반으로 한 카메라의 방사 왜곡 보정 시스템.The method according to claim 3,
The base matrix (
Figure pat00126
)
Figure pat00127
Regulated by
remind
Figure pat00128
Means an image projection device for projecting a pattern onto the target scene,
remind
Figure pat00129
Means an image acquisition device that acquires an image of the target scene,
remind
Figure pat00130
Denotes a corresponding point matrix of the image acquisition device with respect to the image projection device,
remind
Figure pat00131
Denotes a corresponding point matrix of the image projection apparatus with respect to the image acquisition apparatus,
remind
Figure pat00132
The radiation distortion correction system of the camera based on the projector and epipolar geometry, characterized in that the transposition matrix. 청구항 3에 있어서,
상기 영상 투사 장치에서 투사되는 에피폴라 라인(
Figure pat00133
)은
Figure pat00134
,
Figure pat00135
인 것을 특징으로 하는 프로젝터와 에피폴라 기하학을 기반으로 한 카메라의 방사 왜곡 보정 시스템.The method according to claim 3,
Epipolar lines projected from the image projector (
Figure pat00133
)silver
Figure pat00134
,
Figure pat00135
Radiation distortion correction system of a camera based on a projector and epipolar geometry, characterized in that. 청구항 5에 있어서,
상기 에피폴라 라인과 대응하며, 상기 영상 획득 장치에 의해 획득되어야 할 직선 패턴(
Figure pat00136
)은
Figure pat00137
인 것을 특징으로 하는 프로젝터와 에피폴라 기하학을 기반으로 한 카메라의 방사 왜곡 보정 시스템.The method according to claim 5,
A straight line pattern corresponding to the epipolar line and to be acquired by the image acquisition device (
Figure pat00136
)silver
Figure pat00137
Radiation distortion correction system of a camera based on a projector and epipolar geometry, characterized in that. 청구항 6에 있어서,
상기 라인 근사 모듈은 상기 영상 획득 장치에서 획득되는 직선 패턴을 상기
Figure pat00138
로 근사시키는 것을 특징으로 하는 프로젝터와 에피폴라 기하학을 기반으로 한 카메라의 방사 왜곡 보정 시스템.The method of claim 6,
The line approximation module generates a straight line pattern obtained by the image acquisition device.
Figure pat00138
Radiation distortion correction system of a camera based on a projector and epipolar geometry, characterized in that approximation with. 부호화된 패턴을 대상 장면에 투사하는 단계와,
상기 대상 장면의 영상을 획득하는 단계와,
상기 영상에서 대응점을 획득하는 단계와,
상기 대응점을 기초로 기본 매트릭스를 추정하는 단계와,
상기 기본 매트릭스를 기초로 연산된 에피폴라 라인으로 직선 패턴을 대상 장면에 조광하는 단계와,
상기 직선 패턴이 조광된 대상 장면의 영상에서 왜곡된 직선 패턴을 획득하는 단계와,
상기 검출된 직선 패턴의 상대 오차를 판단하는 단계, 및
상기 직선 패턴의 오류를 최소화하는 단계를 포함하는 것을 특징으로 하는 프로젝터와 에피폴라 기하학을 기반으로 한 카메라의 방사 왜곡 보정 방법.Projecting the encoded pattern onto the target scene,
Acquiring an image of the target scene;
Acquiring a corresponding point in the image;
Estimating a base matrix based on the corresponding point;
Dimming a straight line pattern on a target scene using an epipolar line calculated based on the base matrix;
Obtaining a distorted straight line pattern in the image of the target scene in which the straight line pattern is dimmed;
Determining a relative error of the detected straight line pattern, and
Minimizing the error of the linear pattern comprising a method of correcting the radiation distortion of the camera based on the projector and epipolar geometry. 청구항 8에 있어서,
상기 대응점을 기초로 기본 매트릭스를 추정하는 단계에서,
상기 기본 매트릭스(
Figure pat00139
)는
Figure pat00140
에 의해 규정되며,
상기
Figure pat00141
는 상기 대상 장면에 패턴을 투사하는 영상 투사 장치를 의미하고,
상기
Figure pat00142
는 상기 대상 장면의 영상을 획득하는 영상 획득 장치를 의미하며,
상기
Figure pat00143
는 영상 투사 장치에 대한 영상 획득 장치의 대응점 행렬을 의미하고,
상기
Figure pat00144
는 영상 획득 장치에 대한 영상 투사 장치의 대응점 행렬을 의미하며,
상기
Figure pat00145
는 전치행렬을 의미하는 것을 특징으로 하는 프로젝터와 에피폴라 기하학을 기반으로 한 카메라의 방사 왜곡 보정 방법.The method according to claim 8,
In estimating a base matrix based on the corresponding point,
The base matrix (
Figure pat00139
)
Figure pat00140
Regulated by
remind
Figure pat00141
Means an image projection device for projecting a pattern onto the target scene,
remind
Figure pat00142
Means an image acquisition device that acquires an image of the target scene,
remind
Figure pat00143
Denotes a corresponding point matrix of the image acquisition device with respect to the image projection device,
remind
Figure pat00144
Denotes a corresponding point matrix of the image projection apparatus with respect to the image acquisition apparatus,
remind
Figure pat00145
The method of correcting the radiation distortion of the camera based on the projector and the epipolar geometry, characterized in that the transposition matrix means. 청구항 9에 있어서,
상기 기본 매트릭스를 기초로 연산된 에피폴라 라인으로 직선 패턴을 대상 장면에 조광하는 단계에서,
상기 에피폴라 라인(
Figure pat00146
)은
Figure pat00147
인 것을 특징으로 하는 프로젝터와 에피폴라 기하학을 기반으로 한 카메라의 방사 왜곡 보정 방법.The method according to claim 9,
In the step of dimming a straight pattern in the target scene with the epipolar line calculated based on the base matrix,
The epipolar line (
Figure pat00146
)silver
Figure pat00147
Radiation distortion correction method of the camera based on the projector and epipolar geometry, characterized in that. 청구항 10에 있어서,
상기 기본 매트릭스를 기초로 연산된 에피폴라 라인으로 직선 패턴을 대상 장면에 조광하는 단계는,
상기 에피폴라 라인과 대응하며, 상기 영상 획득 장치에 의해 획득되어야 할 직선 패턴(
Figure pat00148
)인
Figure pat00149
과 상기 직선 패턴을 일치시켜 대상 장면에 조광하는 단계를 포함하는 것을 특징으로 하는 프로젝터와 에피폴라 기하학을 기반으로 한 카메라의 방사 왜곡 보정 방법.The method of claim 10,
Dimming a straight line pattern to a target scene using an epipolar line calculated based on the base matrix,
A straight line pattern corresponding to the epipolar line and to be acquired by the image acquisition device (
Figure pat00148
)sign
Figure pat00149
And dimming the target scene by matching the straight line pattern with the projector.
KR1020100130976A 2010-12-20 2010-12-20 System and method for lens distortion compensation of camera based on projector and epipolar geometry KR101222009B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100130976A KR101222009B1 (en) 2010-12-20 2010-12-20 System and method for lens distortion compensation of camera based on projector and epipolar geometry

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100130976A KR101222009B1 (en) 2010-12-20 2010-12-20 System and method for lens distortion compensation of camera based on projector and epipolar geometry

Publications (2)

Publication Number Publication Date
KR20120069429A true KR20120069429A (en) 2012-06-28
KR101222009B1 KR101222009B1 (en) 2013-01-14

Family

ID=46687673

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100130976A KR101222009B1 (en) 2010-12-20 2010-12-20 System and method for lens distortion compensation of camera based on projector and epipolar geometry

Country Status (1)

Country Link
KR (1) KR101222009B1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015102280A1 (en) * 2013-12-30 2015-07-09 엘지이노텍 주식회사 Stereo camera device and rectification method therefor
KR101956003B1 (en) 2017-11-16 2019-03-08 한국기계연구원 Test Equipment For Industrial Unmanned Aerial Vehicle and Test Method Thereof

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101602631B1 (en) 2014-11-07 2016-03-11 국방과학연구소 Method and Apparatus for determining Rational Polynomial Coefficients uncertainty parameters of epipolar images using Adjustable Parameters from RPC bundle adjustment and error propagation of image transformation
KR102338634B1 (en) 2020-10-16 2021-12-14 시그널시스템 주식회사 Calibration system for camera lens distortion using afterimage of light source with equal velocity

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100914033B1 (en) * 2007-02-28 2009-08-28 성균관대학교산학협력단 Method And System Of Structural Light Based Depth Imaging Using Signal Separation Coding and Error Correction Thereof

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015102280A1 (en) * 2013-12-30 2015-07-09 엘지이노텍 주식회사 Stereo camera device and rectification method therefor
US10257489B2 (en) 2013-12-30 2019-04-09 Lg Innotek Co., Ltd. Stereo camera device and rectification method therefor
KR101956003B1 (en) 2017-11-16 2019-03-08 한국기계연구원 Test Equipment For Industrial Unmanned Aerial Vehicle and Test Method Thereof

Also Published As

Publication number Publication date
KR101222009B1 (en) 2013-01-14

Similar Documents

Publication Publication Date Title
US9858684B2 (en) Image processing method and apparatus for calibrating depth of depth sensor
Raposo et al. Fast and accurate calibration of a kinect sensor
US10176554B2 (en) Camera calibration using synthetic images
Ricolfe-Viala et al. Robust metric calibration of non-linear camera lens distortion
EP3398166B1 (en) Method for structure from motion processing in a computer vision system
Lhuillier Automatic scene structure and camera motion using a catadioptric system
US9759548B2 (en) Image processing apparatus, projector and projector system including image processing apparatus, image processing method
CN102472609B (en) Position and orientation calibration method and apparatus
US9866818B2 (en) Image processing apparatus and method, image processing system and program
US20140340529A1 (en) Automatic Projection Image Correction System, Automatic Projection Image Correction Method, and Non-Transitory Storage Medium
US20130121592A1 (en) Position and orientation measurement apparatus,position and orientation measurement method, and storage medium
US9595106B2 (en) Calibration apparatus, calibration method, and program
EP3332387B1 (en) Method for calibration of a stereo camera
US11488354B2 (en) Information processing apparatus and information processing method
US10628968B1 (en) Systems and methods of calibrating a depth-IR image offset
US10154176B1 (en) Calibrating depth cameras using natural objects with expected shapes
KR20200005119A (en) Apparatus and method for calculating and correcting a mounting error of a single mounting surface
KR101222009B1 (en) System and method for lens distortion compensation of camera based on projector and epipolar geometry
CN115205128A (en) Depth camera temperature drift correction method, system, equipment and medium based on structured light
JP2008309595A (en) Object recognizing device and program used for it
US20100262290A1 (en) Data matching apparatus, data matching method and mobile robot
KR100933304B1 (en) An object information estimator using the single camera, a method thereof, a multimedia device and a computer device including the estimator, and a computer-readable recording medium storing a program for performing the method.
Claus et al. A Plumbline Constraint for the Rational Function Lens Distortion Model.
KR101239671B1 (en) Method and apparatus for correcting distortion of image by lens
CN111145268A (en) Video registration method and device

Legal Events

Date Code Title Description
A201 Request for examination
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170102

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20181004

Year of fee payment: 6

R401 Registration of restoration
LAPS Lapse due to unpaid annual fee