KR100526817B1 - 스테레오 영상 구현 시 기본행렬을 구하는 방법 - Google Patents

스테레오 영상 구현 시 기본행렬을 구하는 방법 Download PDF

Info

Publication number
KR100526817B1
KR100526817B1 KR10-2003-0025540A KR20030025540A KR100526817B1 KR 100526817 B1 KR100526817 B1 KR 100526817B1 KR 20030025540 A KR20030025540 A KR 20030025540A KR 100526817 B1 KR100526817 B1 KR 100526817B1
Authority
KR
South Korea
Prior art keywords
image
equation
points
coincidence
matrix
Prior art date
Application number
KR10-2003-0025540A
Other languages
English (en)
Other versions
KR20040091877A (ko
Inventor
서정각
조청운
홍현기
Original Assignee
학교법인 중앙대학교
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 학교법인 중앙대학교 filed Critical 학교법인 중앙대학교
Priority to KR10-2003-0025540A priority Critical patent/KR100526817B1/ko
Priority to US10/703,425 priority patent/US7251356B2/en
Publication of KR20040091877A publication Critical patent/KR20040091877A/ko
Application granted granted Critical
Publication of KR100526817B1 publication Critical patent/KR100526817B1/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images

Abstract

본 발명은 스테레오 영상 구현시 두 대의 카메라에 대한 상대적인 기하정보를 얻기 위하여 각 카메라 영상에 존재하는 일치점 집합을 선택하여 기본행렬을 결정하는 방법에 있어서, 일치점 집합 선택시 상기 일치점이 영상 전체에 고르게 분포되도록 선택하는 것을 특징으로 하는 기본행렬 결정 방법에 관한 것이다.
본 발명에 따른 기본행렬 결정 방법에 의하면, 종래 공지된 방법보다 정확하게 기본행렬을 구할 수 있다.

Description

스테레오 영상 구현 시 기본행렬을 구하는 방법 {A method for estimation of fundamental matrix in implementing a stereo vision}
본 발명은 스테레오 영상 구현시 두 대의 카메라에 대한 상대적인 기하정보를 얻기 위하여 각 카메라 영상에 존재하는 일치점 집합을 선택하여 기본행렬을 결정하는 방법에 있어서, 일치점 집합 선택시 상기 일치점이 영상 전체에 고르게 분포되도록 선택하는 것을 특징으로 하는 기본행렬 결정 방법에 관한 것이다.
스테레오 영상은 영상으로부터 3차원 정보를 얻기 위한 기술로서, 로봇 네비게이션, 가상현실 등의 분야에서 다양하게 이용된다. 3차원 공간에서 임의의 한 점이 대상 스테레오 영상에 각각 투영되면(projection), 두 영상간에는 일치점(correspondence point)이 존재하며, 이들의 관계는 에피폴라 기하(epipolar geometry)로 설명할 수 있다. 에피폴라 기하를 이용하여, 두 대의 카메라에 대한 상대적인 기하정보를 포함하고 있는 기본행렬(fundamental matrix)을 유도할 수 있으며, 대상 영상에 존재하는 한 점에 대응하는 일치점을 다른 영상에서 찾는 특징점 정합 과정을 수행할 수 있다.
이하에서는, 에피폴라 기하에 대하여 설명한다.
두 개의 카메라에서 얻어진 영상 사이의 관계는, 점과 점의 대응이 아닌, 점과 선의 대응으로 설명할 수 있으며, 이를 에피폴라 기하라고 한다. 공간의 임의의 점 X를 서로 다른 위치의 카메라에 의한 이미지 평면에 투영하면 각각의 영상에 점 x, x'으로 맺히며, 이러한 두 점을 일치점이라고 한다. 공간상의 점 X와 두 카메라기 이루는 평면은 에피폴라 평면이며, 에피폴라 평면과 영상 평면(image plane)이 교차하는 선을 에피폴라 선이라고 하고, 두 카메라를 연결하는 선분과 각 이미지 평면과의 교점을 에피폴이라 한다. 공간상의 점 X가 투영된 점 x, x'은 에피폴라 선상에 존재하며, 이를 에피폴라 구속 조건이라고 한다. 도 1은 이러한 관계를 나타낸 도면이며, 이에 대한 대수적 표현이 기본행렬이다.
하기 수학식 1은 에피폴라 구속을 나타낸다. 여기에서 F는 랭크가 2인 3×3 기본행렬이고, 7개의 독립인수로 이루어져 있다. 기본행렬은 두 카메라 사이의 내부 파라미터와 움직임 정보를 담고 있다:
[수학식 1]
x'TFx = 0
입체 영상에서 두 대의 카메라에 대한 기하정보를 구할 수 있는 기본행렬은 일치점(correspondence point) 정보를 이용하여 계산된다. 따라서, 기본행렬을 정확하게 추정하기 위해서는 대상 스테레오 영상 간의 일치점 정보에 존재하는 아웃라이어(outlier)에 의한 영향을 감소시켜야 한다.
일반적으로, 주어진 데이터 집합으로부터 그 데이터 집합을 만족하는 최적의 해를 구하고자 할 때, 그 데이터 집합 중에 잘못된 데이터가 포함되어 있다면 오히려 정확한 해를 얻는데 방해가 된다. 이와 같이, 데이터 집합 중에 존재할 수 있는 잘못된 데이터를 "아웃라이어"라 칭하며, 이를 제거한 후에 해를 얻는다면 보다 더 정확한 해를 구할 수 있다. 이와 같이, 어떠한 기준을 통하여 잘못된 데이터와 그렇지 않은 데이터를 구분하는 것이 바람직하며, 상기 잘못된 데이터를 아웃라이어라 칭하고, 적합한 데이터를 "인라이어(inlier)"라 칭한다.
기존 연구에 의하면, 기본행렬의 정확도는 대상 일치점 집합의 선택에 의하여 많은 영향을 받으며, 정확한 기본행렬을 구하기 위해서는 일치점 정보에서 잘못된 매칭 등으로 인한 아웃라이어를 제거하는 것이 중요하다고 알려져 있다. 즉, 기본행렬은 두 영상 사이의 일치점 집합으로부터 구할 수 있지만, 오차에 매우 민감하기 때문에, 일치점 집합으로부터 인라이어 집합을 선택하는 것이 매우 중요하다.
현재까지, 기본행렬을 추정하기 위한 여러 가지 알고리즘이 연구되었으며, 예를 들어, 직접방법, 반복적 방법 및 강건한(robust) 방법 등이 알려져 있다.
직접방법에 따르면, 상기 수학식 1을 이용하여 한 개의 일치점 쌍에 대하여 한 개의 방정식을 얻고, 최소 7 또는 8개의 일치점 쌍으로부터 기본행렬을 추정할 수 있다[R. Hartley, "In defense of the Eight-Point Algorithm," IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 19, pp.580-593, June 1997]. 직접 방법은 7 또는 8개 이상의 일치점 쌍에 대하여 최소 자승 방법으로 기본행렬을 빠르게 추정할 수 있지만, 영상 노이즈 등에 의하여 영향을 많이 받게 된다는 단점이 있다.
반복적 방법은, 최적화 기법을 기반으로 하며, 일치점과 에피폴라 선 사이의 거리 차이의 합을 최소화하거나, 오차에 미분 가중치를 주어 최소화하는 방법이다[R. Hartley and A. Zisserman, Multiple View Geometry in Computer Vision, Cambridge Univ., 2000]. 이 방법은 선형 방법보다 더 정확한 결과를 얻을 수 있지만, 시간이 오래 걸리며, 위치오차와 불일치오차에 의한 아웃라이어의 영향을 줄일 수 없다는 단점이 있다.
강건한 방법은, 비교적 최근에 제안된 방법으로서, 대상 영상의 양자화 등에 의한 위치오차 또는 잘못된 매칭 오차에 의한 아웃라이어의 영향을 줄일 수 있는 방법으로 RANSAC, LMedS(Least Median of Square, 최소 중간값 자승법) 방법 등이 있다.
RANSAC 방법에 의하면, 기본행렬을 추정하기 위한 최소 일치점 집합을 전체 일치점에서 임의로 추출하여 초기 기본행렬을 추정하고, 나머지 일치점들에 대한 오차를 검사하여 오차가 사용자가 정한 임계값보다 작은 일치점들을 인라이어 집합으로 결정한다[M. Fischler and R. Bolls, "Random Sample Consensus: A Paradigm for Model Fitting with Application and Automated Cartography," Communications of the ACM, vol. 6, no. 24, pp.381-395, 1981]. 위의 과정을 반복하여, 인라이어 집합을 구성하는 일치점의 수가 가장 많은 경우를 선택하고, 그 인라이어 집합만을 이용하여 기본행렬 F를 다시 추정한다.
LMedS 방법은 한 점과 그에 대응하는 에피폴라선 사이의 거리 오차를 각각의 일치점에 대하여 계산하고, 오차의 중간값이 최소가 되는 일치점 집합을 선택하는 방법으로서, 이 과정에서 많은 아웃라이어들이 제거된다[Z. Zhang., R. Deriche, O. Faugeras and Q. Loung, "A Robust Technique for Matching Two Uncalibrated Images Through the Recover of the Unknown Epipolar Geometry," Tech. Rep. 2273, Institut National de Recherche en Informatique et Automatique, May 1994].
그러나, 상기 강건한 방법은 기본행렬을 구하기 위한 인라이어 집합을 임의로 선택하기 때문에, 알고리즘을 수행할 때마다 다른 인라이어 집합들이 선택된다. 따라서, 얻어지는 기본행렬도 선택되는 인라이어의 집합에 의한 영향을 크게 받으며, 오차가 큰 기본행렬을 추정할 가능성이 높다.
이에 본 발명자들은 상기한 바와 같은 문제점을 해결하기 위하여 연구한 결과, LMedS와 같은 방법을 기반으로 인라이어 집합을 선택하는 경우에, 대상 영상에 고르게 분포하는 인라이어의 집합을 선택한다면, 보다 더 정확한 기본행렬을 구할 수 있음을 확인하고, 본 발명을 완성하였다.
상기한 바와 같이 대상 영상에서 고르게 분포하는 인라이어 집합을 선택하기 위한 첫 번째 방법은, 영상을 일정한 갯수의 부영역(subregion)으로 분할한 다음, 대상 영상의 전체 영역에 대한 점의 밀도와 부영역 안에서의 점의 밀도 차를 이용하는 것이다. 각 영역 안에서의 밀도 차이로부터 대상 점들이 영상 안에서 고르게 분포하는지를 정량적으로 비교할 수 있다.
두 번째 방법은, 델라니 삼각화(Delaunary triangulation)을 이용하는 방법이다. 일치점들을 꼭지점으로 하는 삼각형으로 연결하여 대상 영상을 부영역으로 분할한 다음, 각 삼각형의 면적과 영상전체 면적을 삼각형 갯수로 나눈 값의 차이 정보로부터 일치점 분포에 대한 정량적 해석이 가능하다.
상기 방법을 통하여 전체 영상에 고루 분포하는 대응점들을 선택하며, 이를 이용하여 보다 정확한 기본행렬을 계산할 수 있다.
따라서, 본 발명의 목적은, 스테레오 영상 구현시 두 대의 카메라에 대한 상대적인 기하정보를 얻기 위하여 각 카메라 영상에 존재하는 일치점 집합을 선택하여 기본행렬을 결정하는 방법에 있어서, 일치점 집합 선택시 상기 일치점이 영상 전체에 고르게 분포되도록 선택하는 것을 특징으로 하는 기본행렬 결정 방법을 제공하기 위한 것이다.
본 발명은 스테레오 영상 구현시 두 대의 카메라에 대한 상대적인 기하정보를 얻기 위하여 각 카메라 영상에 존재하는 일치점 집합을 선택하여 기본행렬을 결정하는 방법에 있어서, 일치점 집합 선택시 상기 일치점이 영상 전체에 고르게 분포되도록 선택하는 것을 특징으로 하는 기본행렬 결정 방법에 관한 것이다.
더욱 구체적으로, 본 발명은, 스테레오 영상 구현시 두 대의 카메라에 대한 상대적인 기하정보를 얻기 위하여 각 카메라 영상에 존재하는 일치점 집합을 선택하여 기본행렬을 결정하는 방법에 있어서,
소정 갯수의 임의의 일치점을 선택한 후, 선형적 방법에 의하여 초기 기본행렬을 구하는 단계(a);
상기 초기 기본행렬로부터 각 일치점의 오차를 계산하고, 상기 계산한 오차의 중간값을 구하는 단계(b);
상기 단계(a) 및 단계(b)를 소정 횟수만큼 반복 수행하되, 수행시마다 각각의 초기 기본행렬과 그에 따른 중간값을 저장하는 단계(c);
상기 단계(c)에서 저장한 중간값 중 크기가 최소인 최소 중간값 및 상기 최소 중간값의 소정 범위 이내, 예를 들어 10% 범위 이내의 다른 중간값과 이들에 대응하는 초기 기본행렬을 선택하는 단계(d);
상기 단계(d)에서 선택된 각각의 중간값으로부터 이에 대응하는 임계값을 설정한 후, 대응하는 임계값 및 대응하는 초기 기본행렬을 이용하여, 각각의 중간값에 대응하는 인라이어 집합을 구하는 단계(e);
상기 단계 (e)에서 구한 각각의 인라이어 집합 중에서 상기 인라이어 집합의 분포에 대한 표준편차값이 최소인 인라이어 집합을 선택하는 단계(f); 및
상기 선택된 인라이어 집합을 이용하여 기본행렬을 구하는 단계(g)를 포함하는 것을 특징으로 하는 기본행렬 추정 방법에 관한 것이다.
본 발명에서, 상기 각 카메라 영상에 존재하는 일치점 x 및 x'와 상기 기본행렬 F 사이에는, 전술한 바와 같이, 하기 수학식 1의 관계가 성립한다:
[수학식 1]
x'TFx = 0
상기 단계(a)에서, 초기 기본행렬을 구하기 위해서 선택되는 임의의 일치점으로는 7 또는 8개를 선택하는 것이 바람직하다.
상기 단계(b)에서 각 일치점에 대한 오차 r은 하기 수학식 2에 의하여 계산되며, 상기 중간값은 상기 각 일치점에 대한 오차값을 순서대로 나열할 때 중앙에 위치하는 값을 의미한다.
[수학식 2]
r = d(x,FTx') + d(x',Fx)
상기식에서,
x 및 x'은 일치점이고,
F는 기본행렬이며,
함수 d(x,l)은 점과 선 사이의 최단거리이다.
상기 단계(c)에서 상기 단계(a) 및 단계(b)의 반복 횟수는 하기 수학식 3에 의하여 결정되는 것이 바람직하다.
[수학식 3]
상기식에서,
ε은 영상에 포함된 아웃라이어의 비율을 의미하고,
q는 기본행렬을 계산하기 위한 최소 일치점의 갯수로서, 통상적으로 7 또는 8개이며,
P는 영상에서 q개만큼 N번 샘플링하였을 때 모두 인라이어일 확률을 의미한다.
상기 단계(e)에서 임계값은 하기 수학식 4에 의하여 구하는 것이 바람직하다:
[수학식 4]
상기식에서,
p는 두 영상 사이의 전체 일치점의 갯수이고,
q는 기본 행렬을 구하기 위한 최소 일치점의 갯수로서, 통상적으로 7개 또는 8개이며,
Med는 중간값을 의미한다.
상기 단계(f)에서 상기 영상은 복수의 부영역으로 분할되며, 상기 표준편차는 각 부영역에서 상기 인라이어 집합의 점밀도 또는 면적밀도에 대한 분포도를 의미한다.
점밀도를 이용하는 경우에, 전체 영상에서의 일치점 밀도와 각 부영역에서의 일치점 밀도간의 차이를 측정할 수 있도록 상기 영상을 하기 수학식 5에 의하여 부영역으로 분할하고, 하기 수학식 6에 의하여 각 부영역 내의 일치점에 대한 표준편차를 구한다:
[수학식 5]
[수학식 6]
상기식에서,
N은 전체 일치점의 갯수이고,
함수 int(.) 는 정수형으로의 변환을 의미하며,
WS 및 HS 는 각각 부영역의 가로 및 세로의 크기이고,
W 및 H 는 각각 전체 영상의 가로 및 세로의 크기이며,
SN은 분할된 부영역의 수이고,
PNi는 i 번째 부영역 내에 존재하는 일치점의 갯수이다.
면적밀도를 이용하는 경우에는, 상기 영상을 델라니 삼각화 기술에 의하여 일치점들을 기점으로 하는 임의의 삼각형 형상의 부영역으로 분할하고, 하기 수학식 7에 의하여 전체 영상을 상기 부영역의 갯수로 나눈 평균면적과 각 부영역의 면적 사이의 차에 대한 표준편차를 구한다:
[수학식 7]
상기식에서,
Ai는 i 번째 삼각형의 면적이고,
Aaver는 전체 영상의 면적을 삼각형의 갯수로 나눈 값이며,
NT는 분할된 삼각형의 갯수이다.
상기 단계(g)에서 상기 인라이어 집합으로부터 반복적 방법에 의하여 기본행렬을 구할 수 있다.
이하에서는, 본 발명에 따른 기본행렬 결정 방법에 의한 실험 결과를 설명한다:
실험예 : 일치점의 분포 형태가 오차에 미치는 영향
기본행렬 추정 시, 대상 영상 간의 일치점에 존재하는 다양한 오차 등으로 인하여, 얻어진 기본행렬은 많은 영향을 받게 되며, 이러한 아웃라이어들을 효과적으로 제거하기 위하여 LMedS 방법 등이 제안된 바 있다. 전체 일치점 집합에서 오차가 적은 인라이어 집합을 구성하기 위하여 LMedS 방법은 각각의 오차를 순서화하여 중간에 위치한 일치점의 오차값이 가장 작은 경우의 기본행렬을 선택하고, 이를 이용하여 인라이어 집합을 구성한다.
하기 수학식 2는 일치점의 오차를 구하는 식이다:
[수학식 2]
r = d(x,FTx') + d(x',Fx)
상기식에서,
r은 일치점의 오차이고,
x 및 x'은 일치점이며,
F는 기본행렬이고,
함수 d(x,l)은 점과 선 사이의 최단거리이다.
기본행렬은 카메라의 상대적인 위치와 바라보는 방향에 대한 정보를 담고 있으며, 이를 효과적으로 추정하기 위해서는 카메라 정보 등을 잘 표현하고 있는 인라이어 집합이 선택되어야 한다. 상기 LMedS 방법 등에서는 이를 고려하지 않기 때문에, 더 정확한 해를 얻는 인라이어 집합을 선택하지 못하는 경우가 발생한다.
인라이어 집합이 카메라의 움직임을 잘 표현하기 위해서는 카메라 파라미터의 변화에 의한 영상변화를 잘 반영하여야 하며, 이는 일치점이 영상에 대하여 고르게 분포되는 경우이다. 이하에서는, 기본행렬을 추정하기 위해 사용되는 일치점들의 분포에 따른 영향을 분석하기 위하여 도 2a 및 도 2b의 두 개의 합성 영상에 대하여 동일한 카메라 움직임을 적용하여 실험하였다.
도 2a의 좌측 도면에서는 일치점의 대부분이 영상의 왼쪽 영역에 주로 분포되어 있으며, 도 2a의 우측 도면에서는 일치점이 영상 전체에 비교적 고르게 분포되어 있다.
도 2b는 상기 도 2a의 두 영상에 대한 각각의 일치점 분포를 나타낸 것이다. 상기 도 2a의 두 개의 대상 영상에 대하여 LMedS 방법을 이용하여, 기본행렬을 추정하였다. 안정성과 정확성 검사를 위하여 100회 수행하였다.
도 2c는 실제 에피폴의 위치에 대한 거리차를 횟수에 따라 그래프로 나타낸 것이다. 청색의 점선으로 표시된 것이 도 2a의 좌측 영상에 대한 실험 결과이고, 적색의 실선으로 도시한 것이 우측 영상에 대한 실험 결과이다.
상기 실험 결과로부터, 점들의 분포가 기본행렬의 추정에 많은 영향을 주며, 고르게 분포된 일치점들을 이용하는 경우(적색 실선)에 보다 안정적이고, 정확한 결과를 얻을 수 있음을 확인하였다. 따라서, 더욱 정확한 기본행렬을 추정하기 위해서는 선택되는 일치점들이 대상 영상에서 고르게 분포하는 것이 바람직하다.
이하에서는, 본 발명에 따라 기본행렬을 정확히 추정하기 위하여 영상 내에 존재하는 일치점들의 분포를 검사하는 두 가지 방법에 대하여 설명한다.
1. 점밀도에 의한 분포도 시험
영상을 일정한 크기의 부영역으로 분할하여 전체 영상에서의 일치점 밀도와 각 부영역에서의 일치점 밀도간의 차이를 이용하여 대상 영상에 대한 일치점의 분포 정도를 해석할 수 있다. 만일 나누어진 영역의 갯수가 일치점의 갯수와 같은 경우에, 각 영역에 대하여 점이 하나씩 존재한다면, 일치점들이 영상 내에 가장 고르게 분포되었다고 볼 수 있다. 영상을 균일한 크기의 영역으로 나눌 때 영역의 형태를 전체 영상의 형태와 같은 동일한 형태로 분할하는 것이 유리하다. 예를 들어, 전체 영상이 사각형인 경우, 부영역도 사각형으로 분할한다. 도 3a 및 도 3b는 점밀도를 기준으로 부영역으로 분할한 예를 도시한 것이다.
전체 영상을, 존재하는 대응점의 갯수에 근접하게 균일한 크기를 가지는 부영역을 분할하기 위하여 하기 수학식 5를 이용한다.
[수학식 5]
상기식에서,
N은 인라이어의 갯수이고,
int(.) 는 정수형으로의 변환을 의미하며,
WS 및 HS 는 각각 부영역의 가로 및 세로의 크기이고,
W 및 H 는 각각 전체 영상의 가로 및 세로의 크기이다.
상기 수학식 5를 이용하여, 부영역의 크기를 구하고, 상기 부영역의 각 방향의 크기로 전체 대상 영상을 분할한다. 대상영상에 대한 대응점의 분포 정도를 계산하기 위하여, 각 부영역 안에 존재하는 대응점의 수를 구하고, 전체 영상의 면적에 대한 대응점 밀도와 각 부영역 내에 존재하는 대응점의 밀도에 대한 표준편차를 이용한다. 부영역은 크기가 일정하기 때문에, 부영역의 면적을 1이라고 하면, 점의 밀도에 대한 표준편차는 하기 수학식 6과 같다:
[수학식 6]
상기식에서,
SN은 분할된 부영역의 수이고,
N은 전체 일치점의 갯수이며,
PNi는 i 번째 부영역 내에 존재하는 일치점의 갯수이다.
2. 면적밀도에 의한 분포도 시험
면적밀도에 의한 분포도 시험은, 대상 영상에 대한 일치점의 분포 정도를 해석하기 위하여 델라니 삼각화 기술을 이용한다.
전술한 점밀도를 이용하는 방법에서는, 영역을 일정한 크기로 분할하지만, 면적밀도를 이용하는 방법은 일치점들을 기점으로 하는 임의의 삼각형으로 전체 영상을 나누고, 각 삼각형의 면적과 전체 영상의 면적을 삼각형 갯수로 나눈 평균면적과의 차를 이용한다. 도 4a 및 도 4b는 면적밀도를 기준으로 부영역으로 분할한 예를 도시한 것이다.
일치점이 전체 영상에 대해 고르게 분포되었다면, 평균면적과 각 삼각형의 면적은 동일할 것이다. 일치점이 영상 내에 고르게 분포한 정도를 평균면적에 대한 표준편차로 표현할 수 있으며, 하기 수학식 8을 이용하여 삼각형의 면적을 구한다:
[수학식 8]
상기식에서,
e1 = v2 - v1 이고,
e2 = v3 - v1 이며,
v1, v2 및 v3 는 삼각형 각각의 꼭지점을 나타낸다.
하기 수학식 7은 평균면적에 대한 표준편차 식이다.
[수학식 7]
상기식에서,
Ai는 i 번째 삼각형의 면적이고,
Aaver는 전체 영상의 면적을 삼각형의 갯수로 나눈 값이며,
NT는 분할된 삼각형의 갯수이다.
이하에서는 도 5를 참조하여, 본 발명에 따른 기본행렬 결정 방법을 설명한다.
본 발명은, 상기한 바와 같이, 대상 영상에 고르게 존재하는 인라이어 집합들을 효과적으로 선택하기 위하여, 먼저 LMedS 방법을 이용하여 기본행렬을 구한 후, 상기 점밀도에 의한 분포도 시험 또는 면적밀도에 의한 분포도 시험을 통하여, 일치점들이 고르게 분포되어 있는 집합을 선택한다.
먼저, 소정 갯수의 임의의 일치점을 선택한 후, 선형적 방법에 의하여 초기 기본행렬을 구한다(S10). 이후, 상기 초기 기본행렬로부터 각 일치점들의 오차를 계산하고, 상기 계산한 오차의 중간값을 구한다(S20). 이후, 상기 초기 기본행렬과 그에 따른 중간값을 저장한다(S30).
이후, 상기 초기 기본행렬 및 그의 중간값을 구하는 과정을 하기 수학식 3에 의한 횟수 N만큼 반복 수행한다(S40):
[수학식 3]
상기식에서,
ε은 영상에 포함된 아웃라이어의 비율을 의미하고,
q는 기본행렬을 계산하기 위한 최소 일치점의 갯수를 의미하며,
P는 영상에서 q개만큼 N번 샘플링하였을 때 모두 인라이어일 확률을 의미한다.
일반적으로 P는 1에 근사한 값으로 지정하며, q는 8점 알고리즘의 경우에는 8로 지정되고, 7점 알고리즘을 사용하는 경우에는 7로 지정된다.
이후, 종래의 LMedS 방법에 따라, 중간값 중 크기가 최소인 최소 중간값을 선택하고, 상기 최소 중간값의 10% 범위 이내, 즉 상기 최소 중간값보다 10% 작은 값 및 10% 큰 값의 범위 내에 있는 중간값들을 선택한다(S50).
LMedS 방법은 각각의 중간값을 계산하기 때문에 인라이어 구분을 위한 임계값을 중간값에 의하여 계산할 수 있다. 하기 수학식 4는 중간값에 의한 임계값을 구하는 식이다:
[수학식 4]
상기식에서,
p는 두 영상 사이의 전체 일치점의 갯수이고,
q는 기본 행렬을 구하기 위한 최소 일치점의 갯수로서, 통상적으로 7개 또는 8개이며,
Med는 중간값을 의미한다.
이와 같이, 임계값을 설정한 후, 상기 단계(S50)에서 선택한 각각의 중간값에 대응하는 인라이어 집합을 구한다(S60)
이후, 상기 단계(S60)에서 구한 인라이어 집합에 대하여, 상기 점밀도 방법 또는 면적밀도 방법에 의하여 분포 정도를 검사한다. 분포 검사는 점밀도 방법에 의한 경우 상기 수학식 6을 이용하고, 면적밀도 방법에 의한 경우 상기 수학식 7을 이용하여 평균밀도에 대한 표준편차를 구하고, 표준편차가 가장 작은 인라이어 집합을 선택한다(S70). 표준편차가 가장 작다는 것은 일치점들이 가장 고르게 분포함을 의미한다. 이후, 상기 단계(S70)에서 얻은 인라이어 집합으로부터 반복적 방법에 의하여 기본행렬을 구한다(S80).
이하에서는, 본 발명에 따른 방법에 의하여 구한 기본행렬과 LMedS 방법에 의하여 구한 기본행렬에 대한 정확성을 비교하여 설명한다.
합성영상 및 실제영상을 대상으로, 일치점들의 분포를 고려하는 본 발명의 방법에 따른 결과와, LMedS 방법에 따른 결과를 각각 비교하였다.
추정된 기본행렬의 정확도를 비교하기 위하여, 먼저 정확한 에피폴을 알고 있는 합성 영상을 대상으로 실험하였으며, 정확한 에피폴의 위치와의 거리 오차를 오차로 정의하였다. 가상의 영상에 대한 실험이므로, 카메라의 상대적 위치를 정확히 알 수 있다. 하기 표 1은 각 중간값에 대한 실제 에피폴과의 거리 차이를 나타내며, 각각의 중간값에 대한 인라이어 분포도를 나타내었다.
[표 1]
중간값 x y 거리오차 본 발명에 따른 방법
표준편차(수학식 6) 표준편차(수학식 7)
칼리브레이션 380.5 180.2
0.01385 389.4 189.18 12.64 1.2157 82343.09
0.02252 380.12 183.17 2.99 1.1742 81594.95
0.02668 382.6 186.87 6.99 1.2278 82778.39
0.03349 378.47 184.3 4.57 1.2398 83923.28
0.04224 392 179.24 11.54 1.2238 82715.67
상기 표 1에서, 중간값이 최소인 경우(즉, 중간값=0.01385)에 오히려 거리 오차가 더 크다는 것을 알 수 있다. 따라서, 본 발명에 따라 인라이어 집합의 분포를 검사하여 표준편차가 가장 작은 인라이어 집합을 선택하는 것이 바람직하다.
도 6a 내지 도 6d는 합성 영상에 대하여, LMedS 방법과 본 발명에 따른 방법으로 실험한 결과를 도시한 것이다.
도 6a는 좌측 영상 및 우측 영상에 있어서 두 영상 사이의 전체 일치점을 도시한 것이다.
도 6b의 좌측 영상은 본 발명에 따른 방법에 의하여 얻은 에피폴라 선과 에피폴을 도시한 것이다. 도 6b의 우측 영상은 LMedS 방법에 의하여 얻은 에피폴라 선과 에피폴을 도시한 것이다.
도 6c는 100회 실험하여 각각의 경우 에피폴과의 거리 오차를 도시한 것이다. 상기 도면에서, 적색의 실선은 LMedS 방법에 의하여 최소 중간값으로 구한 인라이어 집합을 이용하여 얻어진 에피폴의 거리 오차값을 나타내며, 청색의 점선은 본 발명에 따른 방법에 의하여 선택된 인라이어 집합을 이용하여 얻은 에피폴 거리 오차값을 나타낸다.
상기 실험 결과로부터, 본 발명에 따른 방법이 종래의 LMedS 방법에 비하여 오차가 더 작다는 것을 알 수 있다. 도 6d는 시간에 따른 누적 오차를 도시한 것이다. 여기에서, 본 발명에 따른 방법(적색의 굵은 선)을 사용하는 경우, 종래의 LMedS 방법(청색의 가는 선)보다 누적 오차가 작다는 것을 알 수 있다.
도 7a 내지 도 7c는 실제 영상에서 실험 결과를 비교하기 위하여 실제의 에피폴 라인과 얻어진 에피폴 라인을 동시에 표시한 것이다.
도 7a의 좌측 도면은 실제 대상 영상이고, 우측 도면은 전체 일치점들의 흐름을 도시한 것이다.
도 7b는 카메라 보정에 의하여 구한, 좌측 영상 및 우측 영상 각각의 에피폴라 선을 도시한 것이다.
도 7c의 좌측 도면은 LMedS 방법에 의하여 얻은 에피폴라 라인(위) 및 선택된 인라이어의 흐름(아래)을 도시한 것이다. 도 7c의 우측 도면은 본 발명에 따른 방법에 의하여 얻은 에피폴라 라인(위) 및 선택된 인라이어의 흐름(아래)을 도시한 것이다.
LMedS 방법에 의한 경우의 영상(도 7c의 좌측 영상)은, 카메라 보정에 의하여 얻은 영상(도 7b)과 비교할 때 오차가 크다는 것을 알 수 있다. 이는 상기 LMedS 방법이 일치점의 분포에 대한 고려없이 오차만을 고려하기 때문에, 일치점이 고르게 분포되지 않은 인라이어 집합을 선택한 데 따른 결과이다.
그러나, 본 발명의 방법에 의한 경우의 영상(도 7c의 우측 도면)은 일치점의 분포를 고려하여 인라이어 집합을 선택하기 때문에, 정확한 영상을 얻을 수 있다.
한편, 본 발명은 상술한 것으로 한정되지 않고, 본 발명과 관련하여 통상의 지식을 가진자에게 자명한 범위내에서 여러 가지의 대안, 수정 및 변경하여 실시할 수 있다.
기본행렬은 스테레오 영상 간의 관계를 표현하며, 이를 정확하게 계산하기 위해서는 선택된 일치점 집합이 대상 영상에 대한 카메라의 움직임 정보를 충분히 반영하여야 한다. 본 발명은 일치점의 분포가 기본행렬을 추정하는 데 미치는 영향 등을 분석하였으며, 이를 바탕으로 보다 정확한 기본행렬을 계산하기 위하여 전체 영상 내에 존재하는 대응점의 분포를 고려하여 적합한 인라이어 집합들을 선택하는 새로운 방법을 제공한다.
본 발명에 따른 방법은 대상 영상을 균일한 부영역으로 분할하고, 각 영역 상에 존재하는 대응점의 갯수 및 각 영역의 면적을 고려하여 전체 영상 내에 균일하게 분포하는 대응점을 선택하여 기본행렬을 구한다. 합성 영상과 실제 영상을 대상으로 일치점들의 분포를 고려하여, 고르게 분포되어 있는 일치점들을 선택하는 본 발명은 종래 방법에 비하여 보다 정확하게 기본행렬을 구할 수 있다.
도 1은 에피폴라 기하를 설명하기 위한 도면이고,
도 2a는 동일한 움직임을 갖는 두 카메라로부터 얻어진 영상을 도시한 것이며,
도 2b는 상기 도 2a의 영상의 특징점 분포를 도시한 것이고,
도 2c는 상기 도 2a의 영상에 대한 에피폴 오차를 도시한 그래프이며,
도 3a 및 도 3b는 점밀도를 기준으로 부영역으로 분할한 예를 도시한 것이고,
도 4a 및 도 4b는 면적밀도를 기준으로 부영역으로 분할한 예를 도시한 것이며,
도 5는 본 발명에 따른 기본행렬 결정 과정을 도시한 순서도이고,
도 6a는 좌측 영상 및 우측 영상에 있어서 두 영상 사이의 전체 일치점을 도시한 것이며,
도 6b는 각각 본 발명에 따른 방법 및 LMedS 방법에 의하여 얻은 에피폴라 선과 에피폴을 도시한 것이고,
도 6c는 본 발명에 따른 방법 및 LMedS 방법에 의하여 실험한 경우 각각의 에피폴과의 거리 오차를 도시한 것이며,
도 6d는 본 발명에 따른 방법 및 LMedS 방법에 의하여 실험한 경우 각각의 시간에 따른 누적 오차를 도시한 것이고,
도 7a는 실제 영상에서의 모든 일치점들을 도시한 것이며,
도 7b는 카메라 보정에 의하여 구한, 좌측 영상 및 우측 영상 각각의 에피폴라 선을 도시한 것이고,
도 7c는 LMedS 방법 및 본 발명에 따른 방법에 의한 실험에서 에피폴라 선 및 선택된 인라이어의 흐름을 도시한 것이다.

Claims (12)

  1. 삭제
  2. 삭제
  3. 스테레오 영상 구현시 두 대의 카메라에 대한 상대적인 기하정보를 얻기 위하여 각 카메라 영상에 존재하는 일치점 집합을 선택하여 기본행렬을 결정하는 방법에 있어서,
    소정 갯수의 임의의 일치점을 선택한 후, 선형적 방법에 의하여 초기 기본행렬을 구하는 단계(a);
    상기 초기 기본행렬로부터 각 일치점의 오차를 계산하고, 상기 계산한 오차의 중간값을 구하는 단계(b);
    상기 단계(a) 및 단계(b)를 소정 횟수만큼 반복 수행하되, 수행시마다 각각의 초기 기본행렬과 그에 따른 중간값을 저장하는 단계(c);
    상기 단계(c)에서 저장한 중간값 중 크기가 최소인 최소 중간값 및 상기 최소 중간값의 소정 범위 이내의 다른 중간값과 이들에 대응하는 초기 기본행렬을 선택하는 단계(d);
    상기 단계(d)에서 선택된 각각의 중간값으로부터 이에 대응하는 임계값을 설정한 후, 대응하는 임계값 및 대응하는 초기 기본행렬을 이용하여, 각각의 중간값에 대응하는 인라이어 집합을 구하는 단계(e);
    상기 단계 (e)에서 구한 각각의 인라이어 집합 중에서 상기 인라이어 집합의 분포에 대한 표준편차값이 최소인 인라이어 집합을 선택하는 단계(f); 및
    상기 선택된 인라이어 집합을 이용하여 기본행렬을 구하는 단계(g)를 포함하는 것을 특징으로 하는 기본행렬 추정 방법.
  4. 제 3 항에 있어서, 상기 각 카메라 영상에 존재하는 일치점 x 및 x'와 상기 기본행렬 F 사이에는 하기 수학식 1의 관계가 성립하는 것을 특징으로 방법:
    [수학식 1]
    x'TFx = 0
  5. 제 3 항에 있어서, 상기 단계(a)에서 선택되는 임의의 일치점의 갯수는 7 또는 8인 것을 특징으로 하는 방법.
  6. 제 3 항에 있어서, 상기 단계(b)에서 각 일치점에 대한 오차 r은 하기 수학식 2에 의하여 계산되며, 상기 중간값은 상기 각 일치점에 대한 오차값을 순서대로 나열할 때 중앙에 위치하는 값인 것을 특징으로 하는 방법:
    [수학식 2]
    r = d(x,FTx') + d(x',Fx)
    상기식에서,
    x 및 x'은 일치점이고,
    F는 기본행렬이며,
    함수 d(x,l)은 점과 선 사이의 최단거리이다.
  7. 제 3 항에 있어서, 상기 단계(c)에서 상기 단계(a) 및 단계(b)의 반복 횟수는 하기 수학식 3에 의하여 결정되는 것을 특징으로 하는 방법:
    [수학식 3]
    상기식에서,
    ε은 영상에 포함된 아웃라이어의 비율을 의미하고,
    q는 기본행렬을 계산하기 위한 최소 일치점의 갯수를 의미하며,
    P는 영상에서 q개만큼 N번 샘플링하였을 때 모두 인라이어일 확률을 의미한다.
  8. 제 3 항에 있어서, 상기 단계(e)에서 임계값은 하기 수학식 4에 의하여 구하는 것을 특징으로 하는 방법.
    [수학식 4]
    상기식에서,
    p는 두 영상 사이의 전체 일치점의 갯수이고,
    q는 기본 행렬을 구하기 위한 최소 일치점의 갯수이며,
    Med는 중간값을 의미한다.
  9. 제 3 항에 있어서, 상기 단계(f)에서 상기 영상은 복수의 부영역으로 분할되며, 상기 표준편차는 각 부영역에서 상기 인라이어 집합의 점밀도 또는 면적밀도에 대한 분포도를 의미하는 것을 특징으로 하는 방법.
  10. 제 9 항에 있어서, 전체 영상에서의 일치점 밀도와 각 부영역에서의 일치점 밀도간의 차이를 측정할 수 있도록 상기 영상은 하기 수학식 5에 의하여 부영역으로 분할되고, 하기 수학식 6에 의하여 각 부영역 내의 일치점에 대한 표준편차를 구하는 것을 특징으로 하는 방법:
    [수학식 5]
    [수학식 6]
    상기식에서,
    N은 전체 일치점의 갯수이고,
    함수 int(.) 는 정수형으로의 변환을 의미하며,
    WS 및 HS 는 각각 부영역의 가로 및 세로의 크기이고,
    W 및 H 는 각각 전체 영상의 가로 및 세로의 크기이며,
    SN은 분할된 부영역의 수이고,
    PNi는 i 번째 부영역 내에 존재하는 일치점의 갯수이다.
  11. 제 9 항에 있어서, 상기 영상은 델라니(Delauney) 삼각화 기술에 의하여 일치점들을 기점으로 하는 임의의 삼각형 형상의 부영역으로 분할되고, 하기 수학식 7에 의하여 전체 영상을 상기 부영역의 갯수로 나눈 평균면적과 각 부영역의 면적 사이의 차에 대한 표준편차를 구하는 것을 특징으로 하는 방법:
    [수학식 7]
    상기식에서,
    Ai는 i 번째 삼각형의 면적이고,
    Aaver는 전체 영상의 면적을 삼각형의 갯수로 나눈 값이며,
    NT는 분할된 삼각형의 갯수이다.
  12. 제 3 항에 있어서, 상기 단계(g)에서 상기 인라이어 집합으로부터 반복적 방법에 의하여 상기 기본행렬을 구하는 것을 특징으로 하는 방법.
KR10-2003-0025540A 2003-04-22 2003-04-22 스테레오 영상 구현 시 기본행렬을 구하는 방법 KR100526817B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR10-2003-0025540A KR100526817B1 (ko) 2003-04-22 2003-04-22 스테레오 영상 구현 시 기본행렬을 구하는 방법
US10/703,425 US7251356B2 (en) 2003-04-22 2003-11-10 Method for estimation of fundamental matrix in implementing a stereo vision

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR10-2003-0025540A KR100526817B1 (ko) 2003-04-22 2003-04-22 스테레오 영상 구현 시 기본행렬을 구하는 방법

Publications (2)

Publication Number Publication Date
KR20040091877A KR20040091877A (ko) 2004-11-02
KR100526817B1 true KR100526817B1 (ko) 2005-11-08

Family

ID=33297328

Family Applications (1)

Application Number Title Priority Date Filing Date
KR10-2003-0025540A KR100526817B1 (ko) 2003-04-22 2003-04-22 스테레오 영상 구현 시 기본행렬을 구하는 방법

Country Status (2)

Country Link
US (1) US7251356B2 (ko)
KR (1) KR100526817B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9839409B2 (en) 2013-11-21 2017-12-12 Samsung Medison Co., Ltd. Image display system and method of fitting multiple models to image

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4480083B2 (ja) * 2005-02-23 2010-06-16 アイシン精機株式会社 物体認識装置
CN101390129A (zh) * 2006-02-28 2009-03-18 仁爱米拉索莱有限公司 用于分析对象聚群的方法和设备
KR100944293B1 (ko) * 2007-12-27 2010-02-24 중앙대학교 산학협력단 단일 축 회전 영상들로부터의 효율적인 전 방향 3차원모델의 재구성 방법
KR100964029B1 (ko) * 2008-02-13 2010-06-15 성균관대학교산학협력단 다중해상도 옥트리 기반의 3차원 물체 또는 환경 표현방법
US20130085769A1 (en) * 2010-03-31 2013-04-04 Risk Management Solutions Llc Characterizing healthcare provider, claim, beneficiary and healthcare merchant normal behavior using non-parametric statistical outlier detection scoring techniques
WO2012044218A1 (en) * 2010-10-01 2012-04-05 Saab Ab A method and an apparatus for image-based navigation
US20130208009A1 (en) * 2010-10-01 2013-08-15 Saab Ab Method and apparatus for optimization and incremental improvement of a fundamental matrix
US9378555B2 (en) 2013-11-06 2016-06-28 Honeywell International Inc. Enhanced outlier removal for 8 point algorithm used in camera motion estimation
WO2015094298A1 (en) * 2013-12-19 2015-06-25 Intel Corporation Bowl-shaped imaging system
US10643343B2 (en) * 2014-02-05 2020-05-05 Creaform Inc. Structured light matching of a set of curves from three cameras
CA2938104C (en) * 2014-02-05 2019-12-17 Creaform Inc. Structured light matching of a set of curves from two cameras
US10442355B2 (en) 2014-09-17 2019-10-15 Intel Corporation Object visualization in bowl-shaped imaging systems
KR102281184B1 (ko) 2014-11-20 2021-07-23 삼성전자주식회사 영상 보정 방법 및 장치
JP6511980B2 (ja) * 2015-06-19 2019-05-15 カシオ計算機株式会社 画像処理装置、画像処理方法及びプログラム
KR102140544B1 (ko) * 2018-09-07 2020-08-10 한국산업기술대학교산학협력단 특징분포품질측정 시스템 및 방법

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6353678B1 (en) * 1999-07-14 2002-03-05 Sarnoff Corporation Method and apparatus for detecting independent motion in three-dimensional scenes
EP1627358A4 (en) * 2003-03-11 2011-08-24 Sarnoff Corp METHOD AND DEVICE FOR DETERMINING CAMERAPOSIS FROM POINT CORRESPONDENCES

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9839409B2 (en) 2013-11-21 2017-12-12 Samsung Medison Co., Ltd. Image display system and method of fitting multiple models to image

Also Published As

Publication number Publication date
US20040213452A1 (en) 2004-10-28
KR20040091877A (ko) 2004-11-02
US7251356B2 (en) 2007-07-31

Similar Documents

Publication Publication Date Title
KR100526817B1 (ko) 스테레오 영상 구현 시 기본행렬을 구하는 방법
US10643347B2 (en) Device for measuring position and orientation of imaging apparatus and method therefor
US7046840B2 (en) 3-D reconstruction engine
US8208029B2 (en) Method and system for calibrating camera with rectification homography of imaged parallelogram
US20120177283A1 (en) Forming 3d models using two images
CN102446343B (zh) 稀疏数据的重建
US20020164067A1 (en) Nearest neighbor edge selection from feature tracking
US20020015048A1 (en) System and method for median fusion of depth maps
US20050057561A1 (en) System and method for hole filling in 3D models
US20110235898A1 (en) Matching process in three-dimensional registration and computer-readable storage medium storing a program thereof
US8125493B2 (en) Generating a texture from multiple images
CN106254860A (zh) 照相机的校准装置、照相机系统、以及照相机的校准方法
KR20090052889A (ko) 이미지들로부터 깊이 맵을 결정하기 위한 방법 및 깊이 맵을 결정하기 위한 디바이스
GB2502680A (en) Three-Dimensional Shape Measurement using patterned image projection
JP2004235934A (ja) キャリブレーション処理装置、およびキャリブレーション処理方法、並びにコンピュータ・プログラム
US6519358B1 (en) Parallax calculating apparatus, distance calculating apparatus, methods of the same, and information providing media
CN111612731B (zh) 基于双目显微视觉的测量方法、装置、系统及介质
Dante et al. Precise real-time outlier removal from motion vector fields for 3D reconstruction
TWI462056B (zh) 影像處理方法，裝置及電腦程式產品
US20220277434A1 (en) Measurement System, Method for Generating Learning Model to Be Used When Performing Image Measurement of Semiconductor Including Predetermined Structure, and Recording Medium for Storing Program for Causing Computer to Execute Processing for Generating Learning Model to Be Used When Performing Image Measurement of Semiconductor Including Predetermined Structure
CN112085752B (zh) 一种图像的处理方法、装置、设备及介质
KR100944293B1 (ko) 단일 축 회전 영상들로부터의 효율적인 전 방향 3차원모델의 재구성 방법
GB2569609A (en) Method and device for digital 3D reconstruction
US8102516B2 (en) Test method for compound-eye distance measuring apparatus, test apparatus, and chart used for the same
CN112258635B (zh) 基于改进双目匹配sad算法的三维重建方法及装置

Legal Events

Date Code Title Description
A201 Request for examination
N231 Notification of change of applicant
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20090928

Year of fee payment: 5

LAPS Lapse due to unpaid annual fee