KR100469623B1 - Epipolar geometry model obtaining method - Google Patents
Epipolar geometry model obtaining method Download PDFInfo
- Publication number
- KR100469623B1 KR100469623B1 KR10-2002-0028300A KR20020028300A KR100469623B1 KR 100469623 B1 KR100469623 B1 KR 100469623B1 KR 20020028300 A KR20020028300 A KR 20020028300A KR 100469623 B1 KR100469623 B1 KR 100469623B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- epipolar
- points
- geometry model
- epipolar geometry
- Prior art date
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Geometry (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
Abstract
본 발명은 동일 대상물을 촬영한 복수의 영상 사이에 존재하는 에피폴라 기하모델을 획득하는 방법에 관한 것이다. 본 발명의 방법에 따르면 동일 대상물을 촬영한 복수의 영상 간에 존재하는 에피폴라 기하모델을 복잡한 수학적 유도를 통하지 않고서도 정확하게 획득할 수 있고, 특히 에피폴라 기하모델을 수학적으로 유도하는 것이 불가능한 경우에도 에피폴라 기하모델을 정확하게 획득할 수 있는 효과가 있다.The present invention relates to a method of obtaining an epipolar geometric model existing between a plurality of images of the same object. According to the method of the present invention, an epipolar geometry model existing between a plurality of images photographing the same object can be accurately obtained without complex mathematical derivation, and especially when it is impossible to mathematically derive the epipolar geometry model. It is effective to obtain the polar geometry model accurately.
Description
본 발명은 동일 대상물을 촬영한 복수의 영상 사이에 존재하는 에피폴라 기하모델을 획득하는 방법에 관한 것이다.The present invention relates to a method of obtaining an epipolar geometric model existing between a plurality of images of the same object.
종래로 동일 대상물에 대한 복수의 촬영 영상으로부터 대상물을 파악하는 기술분야가 존재하여 왔는데, 그러한 예로서는 항공관측이나 위성관측과 같은 원격탐사 시스템, 그리고 영상 의료장비 등이 있다. 이러한 시스템에서는 CCD 센서와 같은 영상취득장치를 하나 이상 설치하고 이로부터 대상물의 영상을 얻어 분석함으로써 대상물에 대하여 원하는 정보를 얻는다. 이러한 촬영 영상은 영상취득장치를 어떻게 구성하고 동작시키는가에 따라서 그 특성이 다른데, 촬영 영상의 종류에는 크게 투시도법 영상과 푸시브룸 영상이 있다.Background Art Conventionally, there has been a technical field for identifying an object from a plurality of captured images of the same object. Examples thereof include a remote sensing system such as an air observation or a satellite observation, and an imaging medical equipment. In such a system, at least one image acquisition device such as a CCD sensor is installed, and the desired information is obtained for the object by obtaining and analyzing an image of the object. These photographed images have different characteristics depending on how the image acquisition apparatus is configured and operated. There are two types of photographed images, a perspective view image and a push-broom image.
투시도법 영상(perspective image)은 하나의 초점을 통해서 획득하여 x축과 y축에 대해서 스케일링 비율이 초점을 중심으로 대칭이 되는 영상으로서, 통상 항공관측 시스템이나 스테레오 비전 시스템에서 널리 사용한다. 일반적으로 관측 시스템에 좌측 센서와 우측 센서를 고정하여 설치하고, 하나의 초점을 통해서 대상물을 촬영하면 각각의 센서로부터 좌측영상과 우측영상을 얻게 되는데, 이렇게 구성된 영상 데이터의 집합을 투시도법 영상이라고 한다.A perspective image is an image obtained through a single focal point and whose scaling ratio is symmetric about the focal point with respect to the x-axis and the y-axis, and is generally used in an air observation system or a stereo vision system. In general, when the left and right sensors are fixed to an observation system and an object is photographed through a single focal point, the left and right images are obtained from each sensor. The set of image data thus constructed is called a perspective image. .
도1은 투시도법 영상을 얻기 위한 관측 시스템의 예를 도시한 도면이다. 도1의 관측 시스템은 관측 대상물(110)로부터 일정 거리에 좌우측 센서(120, 130)를 설치하고 촬영함으로써 대상물(110)에 대한 좌우측 영상을 얻고 이를 분석함으로써 필요한 정보를 얻기 위한 시스템으로서, 레이저 비임을 방사하기 위한 레이저(150), 레이저 비임의 방향을 원하는 곳으로 조절하기 위한 미러 시스템(140), 대상물(110)로부터 반사되어 나온 반사 비임을 수신하여 대상물(110)에 대한 좌우측 영상을 취득하기 위한 좌우측 센서(120, 130)를 포함한다. 도1의 관측 시스템으로부터 대상물(110)에 대한 투시도법 영상을 얻을 수 있는데, 일반적으로 투시도법 영상은 대상물(110)을 촬영할 때 센서(120, 130)가 고정되어 있어서 좌측영상과 우측영상이 서로 정적(static)인 상관관계를 갖게 되고, 따라서 기준 좌표계에 따라 수학적으로 분석 및 모델링하기가 용이하고 또 모델링의 정확도도 상당히 높다.1 is a diagram illustrating an example of an observation system for obtaining a perspective image. The observation system of FIG. 1 is a system for obtaining the necessary information by analyzing left and right images of the object 110 by installing and photographing the left and right sensors 120 and 130 at a predetermined distance from the object to be observed. Receiving the left and right images of the object 110 by receiving the laser beam 150 to emit light, the mirror system 140 to adjust the direction of the laser beam to a desired place, the reflection beam reflected from the object 110 It includes a left and right sensor (120, 130) for. A perspective image of the object 110 may be obtained from the observation system of FIG. 1. In general, in the perspective image, when the object 110 is photographed, the sensors 120 and 130 are fixed so that the left image and the right image are different from each other. It has a static correlation, so it is easy to analyze and model mathematically according to the reference coordinate system and the accuracy of modeling is quite high.
푸시브룸 영상(pushbroom image)은 촬영 시에 센서가 연속적으로 이동하여 영상의 각 부분(또는 라인)별로 별도의 초점이 존재하게 되는 영상을 의미하는데, 통상 관측위성이나 영상 의료장비에서 널리 사용된다. 관측 시스템에 좌우측 센서를 설치하고 CCD 센서를 이동방향이 직교하도록 배치시킨 후에 시스템이 이동하며 스캐닝하여 복수의 영상을 얻게 되는데, 이렇게 구성된 영상 데이터의 집합을 푸시부름 영상이라고 한다.Pushbroom image (pushbroom image) refers to an image in which the sensor is continuously moved during the imaging to have a separate focus for each part (or line) of the image, it is commonly used in observation satellites or imaging medical equipment. After installing the left and right sensors in the observation system and arranging the CCD sensor so that the direction of movement is orthogonal, the system moves and scans to obtain a plurality of images. The set of image data thus configured is called a push call image.
도2는 푸시브룸 영상을 얻기 위한 관측 시스템의 예를 도시한 도면이다.도2의 관측 시스템은 CCD 센서가 일렬로 배열된 카메라(220)를 가지고 이동방향(240)으로 이동하면서 대상물(210)을 촬영한다. 일렬 배치된 CCD 센서, 즉 카메라 센서 배열(220)은 관측 시스템이 이동방향(240)으로 진행함에 따라 대상물(210) 상에 촬영을 수행하는데, 이 때 미러(230)는 카메라 센서 배열(220)의 촬영 방향을 원하는 곳으로 조절한다. 도2에 도시된 방식으로 대상물(210)을 촬영하면 이 때 획득되는 영상은 푸시부름 영상이 된다. 즉, 도2에서 배열로 구성된 센서(220) 각각에 의해 촬영 라인(250) 상에 촬영 셀(260)이 존재하는데, 이들 촬영 라인(250)에 대한 촬영 영상마다 각각 별도의 초점이 존재하므로 도2의 시스템으로부터 얻어지는 영상 데이터의 집합은 전형적으로 푸시부름 영상이 되는 것이다. 푸시부름 영상을 얻는 관측 시스템의 구성은 다양하게 존재하며, 도2의 구성은 그 한가지 예에 불과하다.FIG. 2 is a diagram illustrating an example of an observation system for obtaining a pushbroom image. The observation system of FIG. 2 includes an object 210 having a CCD sensor arranged in a line and moving in a moving direction 240. To shoot. The CCD sensors arranged in a line, that is, the camera sensor array 220, perform imaging on the object 210 as the observation system proceeds in the moving direction 240, wherein the mirror 230 is the camera sensor array 220. The shooting direction to the desired position. When the object 210 is photographed in the manner illustrated in FIG. 2, the image obtained at this time becomes a push call image. That is, the photographing cells 260 exist on the photographing lines 250 by the sensors 220 arranged in FIG. 2, and since separate focuses exist for each photographed image of the photographing lines 250, FIG. The set of image data obtained from the system of 2 is typically a push call image. There are various configurations of the observation system for obtaining a push call image, and the configuration of FIG. 2 is just one example.
동일한 대상물(110, 210)을 촬영한 복수의 영상들 사이에는 일정한 기하학적 상관관계가 존재하는데, 이를 에피폴라 기하모델(epipolar geometry model)이라고 하고 이 에피폴라 기하모델을 설명하기 위한 영상 상의 특성곡선을 에피폴라 특성곡선(epipolar characteristic curve)이라고 한다. 투시도법 영상이나 푸시부름 영상에 대해서 정확한 에피폴라 기하모델을 획득하는 것은 영상 데이터로부터 필요한 정보를 추출함에 있어서 대단히 중요하다.There is a certain geometric correlation between a plurality of images of the same object (110, 210), which is called an epipolar geometry model and the characteristic curve on the image to explain the epipolar geometry model It is called an epipolar characteristic curve. Acquiring an accurate epipolar geometry model for a perspective image or a push-call image is very important in extracting necessary information from image data.
도3은 좌측영상(330)과 우측영상(340)으로 구성된 관측 영상으로부터 획득된 에피폴라 기하모델을 도시하는 도면이다. 도3의 좌측영상(330)과 우측영상(340)은 도1의 관측 시스템에서 얻게 되는 투시도법의 영상이다.3 is a diagram illustrating an epipolar geometry model obtained from an observation image composed of a left image 330 and a right image 340. The left image 330 and the right image 340 of FIG. 3 are perspective images obtained from the observation system of FIG. 1.
도3에서 좌측영상(330)은 관측 대상물을 좌측 초점(310)에서 촬영한 영상이고 우측영상(340)은 대상물을 우측 초점(320)에서 촬영한 영상이다. 도3에 도시한 바와 같이 좌측 초점(310)과 우측 초점(320)은 관측 대상물에 대하여 소정의 폭을 가지고 벌어져 있으므로, 좌측영상(330)과 우측영상(340)은 이에 따른 일정한 시차를 가지면서 형성된다.In FIG. 3, the left image 330 is an image obtained by photographing an object at the left focus 310, and the right image 340 is an image photographed by the right focus 320. As shown in FIG. 3, since the left focus 310 and the right focus 320 are opened with a predetermined width with respect to the object to be observed, the left image 330 and the right image 340 have a constant parallax accordingly. Is formed.
전술한 바와 같이 동일한 대상물에 대한 복수의 영상으로부터 대상물을 분석하기 위해서 에피폴라 특성곡선이 종래로 사용된다. 좌측영상과 우측영상으로 이루어진 영상 집합에서 에피폴라 특성곡선은 좌측영상의 한 점에 대응하여 우측영상의 점들이 놓여질 수 있는 위치들의 궤적을 나타낸다. 위의 정의는 좌측영상을 기준으로 한 우측영상에서의 에피폴라 특성곡선을 정의한 것으로서, 우측영상을 기준으로 한 좌측영상에서의 에피폴라 특성곡선도 우측영상의 한 점에 대응하여 좌측영상의 점들이 놓여질 수 있는 위치들의 궤적이라고 정의된다.As described above, the epipolar characteristic curve is conventionally used to analyze an object from a plurality of images of the same object. In the image set consisting of the left image and the right image, the epipolar characteristic curve represents a trajectory of positions where the points of the right image can be placed corresponding to one point of the left image. The above definition defines the epipolar characteristic curve of the right image based on the left image, and the epipolar characteristic curve of the left image based on the right image corresponds to one point of the right image. It is defined as the trajectory of the positions that can be placed.
좌측영상(330)의 한 점(P)에 해당하는 대상물 상의 한 점을 PQ라 하면 우측영상(340)에는 이 점(PQ)에 대응하는 점(Q)가 존재한다. 도3에 도시된 바와 같이, 점(PQ)는 좌측초점(310)과 점(P)를 연결하는 직선(LP) 상에 존재하게 되고, 대응점(Q)는 우측초점(320)과 점(PQ)를 연결하는 직선(LQ)이 우측영상(340)과 교차하는 지점에 위치한다. 이 때, 직선(LP) 상에 있는 일정 영역의 점들(P1∼P2)로부터 각각 우측초점(320)으로 직선을 연결하여 생긴 우측영상(340) 상의 교차점들은 직선 또는 곡선의 형태로 나타나게 되며 이 직선 또는 곡선을 좌측영상(330)의 점(P)에 대한 우측영상(340)의 에피폴라 특성곡선(350)이라고 한다.좌측영상(330)의 점(P)에 대한 우측영상(340)의 대응점은 이 에피폴라 특성곡선(350) 상에 존재하게 되고, 따라서 대상물에 대한 좌측영상(330)과 우측영상(340)을 분석함에 있어서 이 에피폴라 특성곡선(350)은 매우 유용하게 사용된다. 즉, 좌측영상(330)과 우측영상(340)의 기하학적인 분석에 있어서 이 에피폴라 특성곡선(350)을 이용한 모델, 즉 에피폴라 기하모델(epipolar geometry model)을 수립하면 도1의 관측 시스템에 있어서 영상 분석이 용이해진다.When a point on the object corresponding to a point P of the left image 330 is PQ, a point Q corresponding to the point PQ exists in the right image 340. As shown in FIG. 3, the point PQ is present on a straight line LP connecting the left focus 310 and the point P, and the corresponding point Q is the right focus 320 and the point PQ. ) Is located at the point where the straight line LQ intersecting with the right image 340 crosses. At this time, the intersection points on the right image 340 formed by connecting the straight lines from the points P1 to P2 of the predetermined area on the straight line LP to the right focus 320 are shown in the form of a straight line or a curved line. Alternatively, the curve is referred to as the epipolar characteristic curve 350 of the right image 340 with respect to the point P of the left image 330. The corresponding point of the right image 340 with respect to the point P of the left image 330. The epipolar characteristic curve 350 exists on the epipolar characteristic curve 350, and thus the epipolar characteristic curve 350 is very useful in analyzing the left image 330 and the right image 340 of the object. That is, in the geometric analysis of the left image 330 and the right image 340, if the model using the epipolar characteristic curve 350, that is, the epipolar geometry model is established, the observation system of FIG. Therefore, image analysis becomes easy.
전술한 바와 같이 투시도법 영상에서는 대상물(110)을 촬영할 때 센서(120, 130)가 고정되어 있기 때문에 센서의 모델링이 비교적 간단하고 좌측영상(330)과 우측영상(340)도 서로 정적인 상관관계를 갖게 되며, 따라서 관측 영상을 수학적으로 분석 및 모델링하기가 용이하고 또 그 모델링의 정확도도 상당히 높다. 투시도법 영상에 대한 에피폴라 기하모델의 경우, 에피폴라 특성곡선(350)은 직선으로 유도되는데 이 모델링은 수학적으로 잘 증명되어 있고 매우 정확하다. 기하학적으로, 투시도법 영상에 있어서 에피폴라 특성곡선(350)은 좌측초점(310)과 우측초점(320), 그리고 좌측영상 상의 점(P)가 정의하는 3차원 평면이 우측영상(340)과 교차하면서 발생하는 직선의 의미를 갖고, 따라서 수학적으로 용이하게 계산할 수 있다.As described above, since the sensors 120 and 130 are fixed when the object 110 is photographed in the perspective view image, the modeling of the sensor is relatively simple, and the left image 330 and the right image 340 also have a positive correlation with each other. Therefore, it is easy to mathematically analyze and model the observed image, and the modeling accuracy is very high. In the case of the epipolar geometry model for perspective images, the epipolar characteristic curve 350 is derived as a straight line, which is well mathematically proven and very accurate. Geometrically, in the perspective image, the epipolar characteristic curve 350 intersects the three-dimensional plane defined by the left focus 310 and the right focus 320 and the point P on the left image with the right image 340. It has the meaning of a straight line generated while it can be calculated easily mathematically.
반면, 푸시부름 영상의 경우에는 대상물을 촬영하는 동안 센서(220)의 위치 및 자세(요[yaw], 피치[pitch], 롤[roll])가 변하게 되므로 센서의 모델링이 복잡하고 이에 대한 에피폴라 기하모델 또한 대단히 복잡하여 수학적으로 유도하기가 어렵고 또 모델링을 하더라도 그 정확도가 그다지 높지 못하다. 이에 대하여,2000년 8월 21일자로 출원된 대한민국 특허출원 출원번호 제10-2000-0048429호는 관측 시스템의 센서에 대해서 위치와 요 성분을 2차 다항식으로, 피치와 롤 성분을 상수로 가정하고 푸시부름 영상의 에피폴라 기하모델을 수학식 1과 같이 비선형 방정식으로서 제시한 바 있다.On the other hand, in the push call image, since the position and posture (yaw, pitch, roll) of the sensor 220 are changed while photographing an object, the modeling of the sensor is complicated and the epipolar is Geometry models are also very complex and difficult to derive mathematically, and even when modeled, their accuracy is not very high. In this regard, Korean Patent Application No. 10-2000-0048429, filed August 21, 2000, assumes that the position and yaw components are quadratic polynomials and the pitch and roll components are constants for the sensors of the observation system. The epipolar geometry model of the push call image has been presented as a nonlinear equation as in Equation 1.
수학식 1의 에피폴라 기하모델에서 (xL, yL)은 좌측영상(330) 상에 존재하는 점의 좌표값을 좌측 센서(120)의 좌표계를 기준하여 나타낸 것이고, (xR, yR)은 우측영상(340) 상에 존재하는 점의 좌표값을 우측 센서(130)의 좌표계를 기준하여 나타낸 것이며, (k1∼k9)는 상수로서 지상 기준점 데이터와 궤도 정보를 사용하여 구할 수 있고, Q(xR)은 다항식으로서 수학식 1의 유도과정에서 얻어진다.In the epipolar geometry model of Equation 1, (x L , y L ) is a coordinate value of a point existing on the left image 330 based on the coordinate system of the left sensor 120, and (x R , y R ) Is the coordinate value of the point existing on the right image 340 with reference to the coordinate system of the right sensor 130, (k 1 ~ k 9 ) is a constant can be obtained using the ground reference point data and orbit information. Q (x R ) is obtained as a polynomial in the derivation of Equation 1.
수학식 1의 에피폴라 기하모델은 쌍곡선과 유사한 비선형 곡선으로 모델링되는데, 이 기하모델을 유도하기 위한 수식은 대단히 복잡하였다. 더구나, 이 모델은 센서의 위치와 자세(요, 피치, 롤)에 대해서 특별히 가정하여 얻은 것으로서 이와 다른 형태로 모델링되는 센서를 사용하는 경우 또는 궤도정보를 구할 수 없는경우에는 적용할 수 없으며, 더욱이 이러한 경우에 제10-2000-0048429호에서 제시하는 방식으로 수학적 유도가 가능한지 여부도 확실치 않다는 문제점이 있다.The epipolar geometry model of Equation 1 is modeled as a nonlinear curve similar to a hyperbolic curve, and the equation for deriving the geometric model is very complicated. Moreover, this model is obtained by making special assumptions about the position and attitude of the sensor (yaw, pitch, roll), and cannot be applied when using a sensor modeled in a different form or when trajectory information is not available. In this case, there is a problem that it is also unclear whether or not mathematical derivation is possible in the manner set forth in No. 10-2000-0048429.
이에, 본 발명은 동일한 대상물을 촬영한 복수의 영상 사이에 존재하는 에피폴라 기하모델을 복잡한 수학적 유도를 통하지 않고서도 정확하게 획득할 수 있는 방법을 제공하는 데에 그 목적이 있다.Accordingly, an object of the present invention is to provide a method for accurately obtaining an epipolar geometric model existing between a plurality of images of the same object without complex mathematical derivation.
이러한 본 발명의 목적을 달성하기 위한 기술적 사상으로서 본 발명은 좌측 센서와 우측 센서를 사용하여 동일한 대상물(460)을 촬영하여 얻은 좌측영상(430)과 우측영상(440)으로부터 에피폴라 기하모델을 획득하기 위한 방법에 있어서, 상기 좌측영상(430)과 상기 우측영상(440)에 대하여 공선조건식을 유도하는 제1 단계; 상기 좌측영상(430) 상의 한 점(a)에 대응하는 상기 대상물(460) 상의 복수의 점들(P1, P2, ..., Pn)의 좌표값을 상기 좌측영상(430)에 대한 공선조건식을 이용하여 계산하는 제2 단계; 상기 대상물(460) 상의 복수의 점들(P1, P2, ..., Pn)에 대응하는 상기 우측영상(440) 상의 복수의 점들(b1, b2, ..., bn)의 좌표값을 상기 우측영상(440)에 대한 공선조건식을 이용하여 계산하는 제3 단계; 및 상기 우측영상(440) 상의 복수의 점들(b1, b2, ..., bn)의 좌표값으로부터 공지의 수학적 추정 기법을 이용하여 에피폴라 특성곡선(450)을 추정하는 제4 단계로 구성된 것을 특징으로 하는 방법을 제시한다. 또한, 본 발명은 컴퓨터로 판독 가능한 기록매체로서 동일한 대상물을 촬영한 복수의 영상 사이에 존재하는 에피폴라 기하모델을 획득하는 방법을 구현하는 프로그램을 기록한 기록매체를 제시한다.As a technical idea for achieving the object of the present invention, the present invention obtains an epipolar geometric model from the left image 430 and the right image 440 obtained by photographing the same object 460 using the left sensor and the right sensor. In the method for performing the first step of deriving a collinear condition equation for the left image (430) and the right image (440); The coordinate values of the plurality of points P1, P2,..., Pn on the object 460 corresponding to the point a on the left image 430 may be represented by a collinear condition equation for the left image 430. A second step of calculating by using; The coordinate values of the plurality of points b1, b2,..., Bn on the right image 440 corresponding to the plurality of points P1, P2,..., Pn on the object 460 are displayed on the right side. A third step of calculating using collinear condition equation for the image 440; And a fourth step of estimating the epipolar characteristic curve 450 from a coordinate value of the plurality of points b1, b2,..., Bn on the right image 440 using a known mathematical estimation technique. The method of characterization is presented. In addition, the present invention provides a computer-readable recording medium recording a program for implementing a method for obtaining an epipolar geometric model existing between a plurality of images of the same object photographed.
도1은 투시도법 영상을 얻기 위한 관측 시스템의 예를 도시하는 도면.1 illustrates an example of an observation system for obtaining a perspective image.
도2는 푸시브룸 영상을 얻기 위한 관측 시스템의 예를 도시하는 도면.2 illustrates an example of an observation system for obtaining pushbroom images.
도3은 좌측영상과 우측영상으로 구성된 관측 영상으로부터 획득된 에피폴라 기하모델을 도시하는 도면.3 is a diagram showing an epipolar geometric model obtained from an observation image composed of a left image and a right image.
도4는 본 발명에 따른 에피폴라 기하모델을 도시하는 도면.4 shows an epipolar geometry model in accordance with the present invention.
도5는 공선조건식을 설명하기 위한 기하학적 도면.5 is a geometrical view for explaining the collinear condition equation.
<도면의 주요 부분에 대한 부호의 설명><Explanation of symbols for the main parts of the drawings>
410: 좌측 센서의 초점410: focus of left sensor
420: 우측 센서의 초점420: focus of right sensor
430: 좌측 영상430: left image
440: 우측 영상440: right image
450: 에피폴라 특성곡선450: Epipolar characteristic curve
460: 관측 대상물460: observation object
이하, 첨부된 도면을 참조하여 본 발명을 상세히 설명한다.Hereinafter, with reference to the accompanying drawings will be described in detail the present invention.
도4는 본 발명을 설명하기 위한 관측 시스템 및 본 발명에 따라 얻어진 에피폴라 기하모델을 도시하는 도면이다. 도4의 좌측영상(430)과 우측영상(440)은 투시도법 영상일 수도 푸시브룸 영상일 수도 있다. 즉, 본 발명의 에피폴라 기하모델의 획득 방법은 투시도법 영상과 푸시브룸 영상의 어느 한 종류에만 적용될 수 있는 것이 아니라 모든 형태의 영상에 사용될 수 있다.4 is a view showing an observation system for explaining the present invention and an epipolar geometry model obtained according to the present invention. The left image 430 and the right image 440 of FIG. 4 may be perspective views or push-broom images. That is, the method of acquiring the epipolar geometry model of the present invention can be used for all types of images, not applicable to only one type of perspective image and pushroom image.
본 발명을 설명하기 위해, 먼저 도4에서 센서(좌우측 센서)와 좌우측 영상(430, 440), 그리고 대상물(460) 사이의 관계에 대해서 공선조건식(collinearity equations)을 수학식 2와 같이 수립한다. 도4의 관측 시스템은 좌우측 센서를 사용해서 대상물(460)을 촬영하므로 좌우측 영상(430, 440)에 대한 에피폴라 기하모델을 얻기 위해서 좌측영상(430)과 우측영상(440) 각각에 대해서 수학식 2의 공선조건식을 설정한다. 이들 공선조건식은 대부분의 센서 모델에 대해서 공통적으로 사용하는 수학식으로서 본 발명에 특유한 것은 아니며, 때로는 본 명세서에서 제시하는 것과는 상이하게 제안되기도 한다. 그러나, 본 발명의 특징은 공선조건식에 있는 것이 아니므로 공선조건식이 상이하더라도 본 명세서에서 후술하는 특허청구의 범위에 포함되면 본 발명의 범위에 포함된다.In order to explain the present invention, first, collinearity equations are established as shown in Equation 2 with respect to the relationship between the sensors (left and right sensors), the left and right images 430 and 440, and the object 460 in FIG. 4. Since the observation system of FIG. 4 photographs the object 460 using the left and right sensors, the equations for each of the left image 430 and the right image 440 are obtained in order to obtain an epipolar geometry model for the left and right images 430 and 440. Set the collinear condition of 2. These collinear condition equations are common to most sensor models, and are not specific to the present invention, and may sometimes be proposed differently from those presented herein. However, since the features of the present invention are not in the collinear condition equation, even if the collinear condition equations are different, they are included in the scope of the present invention if they are included in the claims to be described later.
수학식 2의 공선조건식을 도5를 참조하여 설명한다. (Xs, Ys, Zs)는 좌우측 센서의 초점(410, 420)에 대한 지상 기준좌표계 상의 좌표값이고, (Xp, Yp, Zp)는 관측 대상점(P)에 대한 지상 기준좌표계 상의 좌표값이다. Rij는 푸시브룸 센서의 좌표계를 지상 기준좌표계와 일치되도록 회전이동시키는 회전행렬 R의 (i,j)번째 요소인데, 회전행렬 R은 파라미터(κ,φ,ω)를 푸시브룸 좌표계를 지상 기준좌표계와 일치되도록 각각 Z축, Y축, X축으로 회전이동시키는 회전각이라고 가정할 때 수학식 3과 같이 구해진다.The collinear condition of Equation 2 will be described with reference to FIG. (Xs, Ys, Zs) are coordinate values on the ground reference coordinate system for the focal points 410 and 420 of the left and right sensors, and (Xp, Yp and Zp) are coordinate values on the ground reference coordinate system with respect to the observation target point P. . R ij is the (i, j) th element of the rotation matrix R that rotates the coordinate system of the pushbroom sensor to match the ground reference coordinate system. It is calculated as in Equation 3 on the assumption that the rotation angle is rotated to the Z axis, the Y axis, and the X axis so as to coincide with the coordinate system.
도5에서 벡터 W는 센서초점(510)으로부터 영상(520) 상의 점(a)로의 벡터인데, 수학식 4와 같이 나타내어진다. 수학식 4로부터 수학식 2의 일부 기호(xa, ya, f)의 의미를 알 수 있다. 특히, 기호(f)는 센서의 초점거리임을 알 수 있다.In FIG. 5, the vector W is a vector from the sensor focus 510 to the point a on the image 520, which is represented by Equation 4 below. From Equation 4, it is possible to know the meaning of some symbols (x a , y a , f) in Equation 2. In particular, it can be seen that the symbol f is the focal length of the sensor.
본 발명에 따른 에피폴라 기하모델의 획득 방법을 설명하기 위해서 먼저 다음과 같이 제1 변환과 제2 변환을 정의한다.In order to explain the method of obtaining the epipolar geometry model according to the present invention, first and second transforms are defined as follows.
제1 변환은 좌측영상(430)에 대한 공선조건식을 이용하여 좌측영상(430) 상의 점(a[xa, ya])에 대응하는 대상물(460) 상의 점(Px)의 좌표값(XPx, YPx, ZPx)을 계산하는 과정이다. 이 때, 공선조건식에서 미지수는 세 개이고 수식은 두 개이므로 원칙적으로는 해를 얻을 수 없으나 약간의 기법을 사용하면 해결할 수 있다. 예컨대, 대응점(Px)의 높이(ZPx)를 임의의 값으로 가정하여 미지수의 개수를 하나 줄임으로써 공선조건식의 해를 얻을 수 있다.The first transform is the coordinate value (X) of the point Px on the object 460 corresponding to the point a [x a , y a ] on the left image 430 using the collinear condition equation for the left image 430. Px , Y Px , Z Px ). At this time, since there are three unknowns and two equations in the collinear condition, the solution cannot be obtained in principle, but it can be solved with a little technique. For example, the solution of the collinear condition equation can be obtained by reducing the number of unknowns by assuming that the height Z Px of the corresponding point Px is an arbitrary value.
제2 변환은 우측영상(440)에 대한 공선조건식을 이용하여 대상물(460) 상의 임의의 점(Px[XPx, YPx, ZPx])에 대응하는 우측영상(440) 상의 점(bx)의 좌표값(xbx, ybx)을 계산하는 과정이다. 공선조건식에서 미지수의 개수와 수식의 개수가 모두 두 개이므로 해를 얻을 수 있다.The second transform is a point bx on the right image 440 corresponding to an arbitrary point Px [X Px , Y Px , Z Px ] on the object 460 using the collinear conditional equation for the right image 440. The process of calculating the coordinate values (x bx , y bx ) of. In the collinear condition equation, both the number of unknowns and the number of equations are two, so a solution can be obtained.
위의 제1 변환과 제2 변환은 경우에 따라서 계산이 대단히 복잡할 수 있으나 종래기술에서 제시하는 다양한 비선형 해법을 통해서 정확히 구현할 수 있다. 본 발명에서는 제1 변환과 제2 변환을 구체적으로 구현하는 부분에 대해서는 종래기술에서 제공하는 것으로 하고 특별히 제한을 두지 않는다.The first transform and the second transform may be very complicated in some cases, but can be accurately implemented through various nonlinear solutions proposed in the prior art. In the present invention, a part for concretely implementing the first transform and the second transform is provided by the prior art, and there is no particular limitation.
본 발명의 에피폴라 기하모델의 획득 방법에 의해 도4의 관측 시스템에서 좌측영상(430) 상의 점(a)에 대한 우측영상(440) 상의 에피폴라 특성곡선(450)을 얻는 실시예를 전술한 제1 변환 및 제2 변환을 이용하여 설명한다.An embodiment of obtaining the epipolar characteristic curve 450 on the right image 440 with respect to the point a on the left image 430 in the observation system of FIG. 4 by the method of obtaining the epipolar geometry model of the present invention. A description is given using the first transform and the second transform.
도4에서 좌측영상(430) 상의 점(a[xa, ya])에 대응하는 관측 대상물(460) 상의 점(P1, P2, ..., Pn)에 대하여 지상 높이(ZP1, ZP2, ..., ZPn)를 가정한다. 지상 높이에 대한 가정은 본 발명에 따른 에피폴라 기하모델의 정확도에 크게 영향을 미치지 않으므로 상황에 따른 대략적인 가정만으로 충분하다. 물론, 지상 높이가 아닌 다른 좌표값을 가정하더라도 적용이 불가능한 것은 아니다.In FIG. 4, the ground heights Z P1 and Z with respect to the points P1, P2,..., And Pn on the observation object 460 corresponding to the points a [x a , y a ] on the left image 430 in FIG. 4. P2 , ..., Z Pn ). Since the assumptions about the ground height do not significantly affect the accuracy of the epipolar geometry model according to the present invention, the approximate assumptions according to the situation are sufficient. Of course, assuming a coordinate value other than ground height is not impossible.
그리고 나서, 제1 변환을 이용하여 좌측영상(430) 상의 점(a[xa, ya])에 대응하는 대상물(460) 상의 점들(P1, P2, ..., Pn)의 좌표값을 계산한다. 앞에서 가정하였던 지상 높이(ZP1, ZP2, ..., ZPn)를 이 제1 변환에서 사용함으로써, 좌측영상(430)에 대한 공선조건식으로부터 해를 구할 수 있다. 여기에서 얻어지는 점들(P1, P2, ..., Pn)의 좌표값은 공선조건식에 기반하고 있기 때문에 이들 점들(P1, P2, ..., Pn)은 도4에 도시된 바와 같이 좌측 센서의 초점(410)과점(a[xa, ya])을 연결하는 직선(LA) 상에 존재하게 된다.Then, the coordinate values of the points P1, P2, ..., Pn on the object 460 corresponding to the points a [x a , y a ] on the left image 430 are obtained using the first transform. Calculate By using the above assumed ground heights Z P1 , Z P2 ,..., Z Pn in this first transformation, a solution can be obtained from the collinear condition equation for the left image 430. Since the coordinate values of the points P1, P2, ..., Pn obtained here are based on the collinear condition equation, these points P1, P2, ..., Pn are shown in FIG. It exists on a straight line LA connecting the focal point 410 and the point a [x a , y a ].
그리고 나서, 제2 변환을 이용하여 대상물(460) 상의 점들(P1, P2, ..., Pn)의 좌표값으로부터 이에 대응하는 우측영상(440) 상의 점들(b1, b2, ..., bn)을 계산한다. 전술한 바와 같이 정확히 계산될 수 있다.Then, points b1, b2, ..., bn on the right image 440 corresponding to the coordinate values of points P1, P2, ..., Pn on the object 460 using the second transformation. Calculate It can be calculated exactly as described above.
마지막으로, 우측영상(440) 상의 점들(b1, b2, ..., bn)로부터 에피폴라 특성곡선(450)을 구한다. 복수의 점들로부터 이 점들을 통과하는 최적의 직선 또는 곡선을 수학적으로 추정하는 기법들은 종래에 다수 제시되어 있다. 현재 n개의 점들을 사용하였으므로 n차 다항식의 곡선으로 추정할 수 있으며, 간소화하여 저-차수의 곡선이나 직선 등으로 모델링하여 사용할 수도 있다. 이 곡선을 이 관측시스템의 에피폴라 특성곡선(450)으로 간주하고 사용할 수 있다.Finally, the epipolar characteristic curve 450 is obtained from the points b1, b2,..., Bn on the right image 440. Many techniques for mathematically estimating an optimal straight line or curve passing through these points from a plurality of points have been presented in the art. Since n points are currently used, they can be estimated by the curves of the nth order polynomial, and can be simplified and modeled as low-order curves or straight lines. This curve can be considered and used as the epipolar characteristic curve 450 of this observation system.
본 명세서의 발명의 상세한 설명에서는 동일한 대상물(460)을 촬영하여 얻은 좌측영상(430) 및 우측영상(440)으로부터 좌측영상(430) 상의 한 점(a)에 대응하는 우측영상(440) 상의 에피폴라 특성곡성(450)을 추정함으로써 에피폴라 기하모델을 획득하였으나, 반대로 우측영상(440) 상의 한 점(b)에 대응하는 좌측영상(430) 상의 에피폴라 특성곡성을 추정하여 에피폴라 기하모델을 획득하는 것도 전술한 방법과 동일한 과정을 거쳐서 달성할 수 있다.In the detailed description of the present disclosure, the epi on the right image 440 corresponding to a point (a) on the left image 430 from the left image 430 and the right image 440 obtained by photographing the same object 460. The epipolar geometry model was obtained by estimating the polar characteristic curvature 450, but on the contrary, the epipolar geometric model was estimated by estimating the epipolar characteristic curvature on the left image 430 corresponding to a point (b) on the right image 440. Acquisition can also be accomplished through the same process as described above.
본 발명의 에피폴라 특성곡선의 획득방법은 전술한 바와 같이 수학식 2의 공선조건식을 기반으로 하고 있으므로 영상의 특성, 예컨대 투시도법 영상인지 아니면 푸시부름 영상인지에 영향을 받지 않고 일반적으로 사용할 수 있다. 또한, 관측 시스템의 에피폴라 기하모델의 모델링이 복잡하여 수학적으로 계산이 불가능한 경우에도 역시 일반적으로 사용할 수 있다.Since the method of acquiring the epipolar characteristic curve of the present invention is based on the collinear condition equation of Equation 2 as described above, it can be generally used without being affected by the characteristics of the image, for example, a perspective view image or a push-call image. . In addition, the modeling of the epipolar geometry model of the observation system is also commonly used in the case that mathematical calculation is impossible.
본 발명의 에피폴라 기하모델의 획득 방법에 따르면 동일한 대상물을 촬영한 복수의 영상 사이에 존재하는 에피폴라 기하모델을 복잡한 수학적 유도를 통하지 않고서도 정확하게 획득할 수 있는 효과가 있다. 특히, 에피폴라 기하모델을 수학적으로 유도하는 것이 불가능한 경우에도 에피폴라 기하모델을 정확하게 획득할 수 있는 효과가 있다.According to the method of obtaining an epipolar geometry model of the present invention, an epipolar geometry model existing between a plurality of images photographing the same object can be accurately obtained without complex mathematical derivation. In particular, even when it is impossible to mathematically derive the epipolar geometry model, there is an effect that can accurately obtain the epipolar geometry model.
Claims (7)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR10-2002-0028300A KR100469623B1 (en) | 2002-05-22 | 2002-05-22 | Epipolar geometry model obtaining method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR10-2002-0028300A KR100469623B1 (en) | 2002-05-22 | 2002-05-22 | Epipolar geometry model obtaining method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20030090258A KR20030090258A (en) | 2003-11-28 |
| KR100469623B1 true KR100469623B1 (en) | 2005-02-02 |
Family
ID=32383881
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR10-2002-0028300A KR100469623B1 (en) | 2002-05-22 | 2002-05-22 | Epipolar geometry model obtaining method |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR100469623B1 (en) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0719832A (en) * | 1993-06-21 | 1995-01-20 | Canon Inc | Extracting method for corresponding points of pulirity of images |
| JPH07239218A (en) * | 1994-02-28 | 1995-09-12 | Atr Tsushin Syst Kenkyusho:Kk | Device and method for detecting corresponding certainty between stereo pictures |
| JP2000155831A (en) * | 1998-09-18 | 2000-06-06 | Sanyo Electric Co Ltd | Method and device for image composition and recording medium storing image composition program |
-
2002
- 2002-05-22 KR KR10-2002-0028300A patent/KR100469623B1/en active IP Right Grant
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0719832A (en) * | 1993-06-21 | 1995-01-20 | Canon Inc | Extracting method for corresponding points of pulirity of images |
| JPH07239218A (en) * | 1994-02-28 | 1995-09-12 | Atr Tsushin Syst Kenkyusho:Kk | Device and method for detecting corresponding certainty between stereo pictures |
| JP2000155831A (en) * | 1998-09-18 | 2000-06-06 | Sanyo Electric Co Ltd | Method and device for image composition and recording medium storing image composition program |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20030090258A (en) | 2003-11-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6722323B2 (en) | System and method for imaging device modeling and calibration | |
| US10755428B2 (en) | Apparatuses and methods for machine vision system including creation of a point cloud model and/or three dimensional model | |
| US6847392B1 (en) | Three-dimensional structure estimation apparatus | |
| JP4851239B2 (en) | Image processing apparatus and processing method thereof | |
| EP2370954B1 (en) | Method for recognizing objects in a set of images recorded by one or more cameras | |
| JP5580164B2 (en) | Optical information processing apparatus, optical information processing method, optical information processing system, and optical information processing program | |
| Habib et al. | Bundle adjustment with self–calibration using straight lines | |
| JP5992184B2 (en) | Image data processing apparatus, image data processing method, and image data processing program | |
| US6751338B1 (en) | System and method of using range image data with machine vision tools | |
| US8059887B2 (en) | System and method for providing mobile range sensing | |
| US6381302B1 (en) | Computer assisted 2D adjustment of stereo X-ray images | |
| JP3880702B2 (en) | Optical flow detection apparatus for image and self-position recognition system for moving object | |
| US20060055943A1 (en) | Three-dimensional shape measuring method and its device | |
| JP2006053890A (en) | Obstacle detection apparatus and method therefor | |
| KR20040083368A (en) | Method of determination of conjugate distance equation for the self-calibration regarding the carrying out stereo-piv-method | |
| CN116433737A (en) | Method and device for registering laser radar point cloud and image and intelligent terminal | |
| EP3086285A1 (en) | Method of camera calibration for a multi-camera system and apparatus performing the same | |
| CN105809706A (en) | Global calibration method of distributed multi-camera system | |
| CN113706635B (en) | Long-focus camera calibration method based on point feature and line feature fusion | |
| JP4809134B2 (en) | Image processing apparatus and processing method thereof | |
| JP2007323616A (en) | Image processor and processing method therefor | |
| Hasheminasab et al. | Multiscale image matching for automated calibration of UAV-based frame and line camera systems | |
| JP4813263B2 (en) | Image processing apparatus and processing method thereof | |
| KR100469623B1 (en) | Epipolar geometry model obtaining method | |
| KR20150119770A (en) | Method for measuring 3-dimensional cordinates with a camera and apparatus thereof |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20121211 Year of fee payment: 9 |
|
| FPAY | Annual fee payment |
Payment date: 20140123 Year of fee payment: 10 |
|
| FPAY | Annual fee payment |
Payment date: 20141216 Year of fee payment: 11 |
|
| FPAY | Annual fee payment |
Payment date: 20151222 Year of fee payment: 12 |
|
| FPAY | Annual fee payment |
Payment date: 20170103 Year of fee payment: 13 |
|
| FPAY | Annual fee payment |
Payment date: 20171226 Year of fee payment: 14 |
|
| FPAY | Annual fee payment |
Payment date: 20181122 Year of fee payment: 15 |
|
| FPAY | Annual fee payment |
Payment date: 20191119 Year of fee payment: 16 |