KR100511721B1 - 특징점 정합 및 기본 함수 추정 방법 - Google Patents

특징점 정합 및 기본 함수 추정 방법 Download PDF

Info

Publication number
KR100511721B1
KR100511721B1 KR10-2003-0046183A KR20030046183A KR100511721B1 KR 100511721 B1 KR100511721 B1 KR 100511721B1 KR 20030046183 A KR20030046183 A KR 20030046183A KR 100511721 B1 KR100511721 B1 KR 100511721B1
Authority
KR
South Korea
Prior art keywords
matching
point
points
feature
function
Prior art date
Application number
KR10-2003-0046183A
Other languages
English (en)
Other versions
KR20050007504A (ko
Inventor
이상욱
이경무
이동혁
Original Assignee
재단법인서울대학교산학협력재단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 재단법인서울대학교산학협력재단 filed Critical 재단법인서울대학교산학협력재단
Priority to KR10-2003-0046183A priority Critical patent/KR100511721B1/ko
Publication of KR20050007504A publication Critical patent/KR20050007504A/ko
Application granted granted Critical
Publication of KR100511721B1 publication Critical patent/KR100511721B1/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 특징점 정합 및 기본 함수 추정 방법에 관한 것으로, 특히 두 영상 내에서 코너점으로 특징점을 추출하고 추출된 특징점들로부터 정합 후보점을 추출하는 단계와, 두 영상의 정합 후보점내 임의의 특징점과 이에 이웃하는 직선 성분 사이의 상관 관계를 구하는 단계와, 정합 후보점과 이웃 특징점 사이에서 직선 성분의 상관 관계를 이용하여 특징점 정합을 구하는 단계와, 특징점 정합을 합한 에너지 값이 수렴하는지 판단하는 단계와, 에너지 값이 수렴할 경우 정합된 특징점으로부터 초기 기본 함수를 결정하는 단계와, 초기 기본 함수의 아우트라이어를 제거하여 기본 함수를 추정하는 단계를 포함한다. 그러므로 본 발명은 정합 후보 점들에서 이웃 특징점(코너점)들과의 상관 관계로서 거리 뿐만 아니라 정합 후보점과 이웃 코너점들을 연결한 직선의 각도를 이용하여 특징점 정합의 정확도를 높일 수 있고, 직선 성분을 이용하여 아우트라이어를 효과적으로 제거하여 신뢰성있는 기본 함수를 추정할 수 있다.

Description

특징점 정합 및 기본 함수 추정 방법{METHOD FOR MATCHING A POINT OF INTEREST AND ASSUMING FUNDAMENTAL MATRIX}
본 발명은 3차원 영상을 복원하는 스테레오 기법에 요구되는 기본 함수를 추정하는 방법에 관한 것으로서, 특히 코너점과 직선 성분을 함께 이용하여 신뢰성 있는 기본 함수를 추정하는 방법에 관한 것이다.
영상으로부터 3차원 정보를 복원하는 기법 중에서 가장 대표적인 기법은 스테레오 비전(stereo vision) 기법이며 스테레오 기법은 내부 인자 및 기본 함수(fundamental matrix)를 이용하여 시점이 다른 두 영상으로부터 3차원 깊이(depth) 정보를 추출하는 기술이다.
기본 함수는 두 영상 사이의 회전(rotation) 및 병진(translation) 변환 관계와 포커스(focus), 주요 포인트(principal point), 방위율(aspect ratio) 등의 내부 인자를 포함하는 3×3 행렬로서 스테레오 영상 쌍에서 한 영상 위의 점을 다른 영상 쌍의 기본 함수에 의해 변환된 에피폴라(epipolar) 직선으로 나타내는 특성을 가지고 있으며, 두 영상 사이의 정합점으로부터 추정해낼 수 있다.
신뢰성 있는 기본 함수의 추정을 위해서는 도 1과 같이 영상 내에서 영상 밝기 값 정보를 이용하여 특징점(point of interest)을 추출하고(S10), 특징점들 사이의 거리 관계나 각도 값 등의 여러 가지 기하학적인 정보를 이용하여 특징점 정합(matching)을 구한다.(S20) 그리고 에피폴라 직선과의 거리를 이용하여 잘못 정합된 아우트라이어(outlier)를 제거한(S30) 후에 아우트라이어가 제거된 정합점들을 이용하여 기본 함수를 추정한다.(S40)
스테레오 기법으로 3차원 영상 정보를 추출하기 위한 신뢰성있는 기본 함수를 추정하는 종래 방법은 서로 다른 두 평면상에 존재하는 각 특징점들의 정확한 정합이 이루어져야 한다. 그런데, 종래 특징점 정합 방법이 기하학적인 특성인 이웃 특징점과의 거리 관계 및 각도 관계를 이용하기 때문에 회전 및 병진이 클 경우 정확한 특징점 정합이 어려워질 뿐만 아니라 정합 후보점에 대한 이웃 특징점들의 수가 적을 경우 정합 쌍들의 개수가 적어져서 신뢰성 있는 기본 함수를 추정하기 어려울 수 있다. 또한 에피폴라 직선과의 거리 값만을 이용하여 아우트라이어를 제거할 경우 에피폴라 직선과의 거리는 비슷하지만 실제 정합점과는 거리가 먼 정합 후보가 정합점이 될 수 있어 기본 함수 추정의 정확성을 낮추는 원인으로 작용한다.
본 발명의 목적은 상기와 같은 종래 기술의 문제점을 해결하기 위하여 이웃 코너점과의 거리뿐만 아니라 각도 관계도 같이 이용하고 직선 성분과 코너점을 함께 이용하여 정합 정도를 계산하고 직선 성분을 이용하여 아우트라이어를 제거한 정합 결과로 신뢰성 있고 안정적인 기본 함수를 추정하는 3차원 영상 정보의 추출을 위한 기본 함수 추정 방법을 제공하는데 있다.
상기 목적을 달성하기 위하여 본 발명은 두 영상의 특징점을 정합하여 3차원 영상을 복원하는데 필요한 기본 함수를 추정하는 방법에 있어서, 두 영상 내에서 코너점으로 특징점을 추출하고 추출된 특징점들로부터 정합 후보점을 추출하는 단계와, 두 영상의 정합 후보점내 임의의 특징점과 이에 이웃하는 직선 성분 사이의 상관 관계를 구하는 단계와, 정합 후보점과 이웃 특징점 사이에서 직선 성분의 상관 관계를 이용하여 특징점 정합을 구하는 단계와, 특징점 정합을 합한 에너지 값이 수렴하는지 판단하는 단계와, 에너지 값이 수렴할 경우 정합된 특징점으로부터 초기 기본 함수를 결정하는 단계와, 초기 기본 함수의 아우트라이어를 제거하여 기본 함수를 추정하는 단계를 포함한다.
이하 첨부된 도면을 참조하여 본 발명의 바람직한 실시예에 대해 설명하고자 한다.
도 2는 본 발명에 따른 3차원 영상을 복원하는 스테레오 기법의 기본 함수를 추정하는 과정을 나타낸 흐름도이다. 도 3을 참조하면 본 발명은 스테레오 기법으로 3차원 영상 정보를 추출하기 위한 신뢰성있는 기본 함수를 추정하고자 서로 다른 두 평면 영상 상에 존재하는 각 특징점들의 정합 과정을 다음과 같이 진행한다.
우선 본 발명은 두 개의 평면 영상 내에서 특징점으로서 코너점을 추출하는데, 영상 내의 코너점들이 균일하게 분포된 CSS(Curvature Scale Space) 코너점 추출기를 이용하여 코너점을 추출한다.(S100) CSS 코너점 추출기는 기존의 해리스(Harris)의 코너점 추출기가 국부화에 취약하므로 곡률 스케일 공간(curvature scale space)을 이용하여 곡률 절대치의 국소 최대값을 가지는 점을 특징점으로 추출하는 방법이다. 먼저 에지(edge)를 추출한 후, 에지 영상에서 에지 윤곽(edge contour)을 추출하고 이를 이용하여 가장 높은 스케일에서 후보점을 추출하여 낮은 스케일로 이동하면서 대응 코너점을 추출하는 알고리즘으로 높은 스케일(high scale)에서는 잡음에 강인하고, 낮은 스케일(low scale)에서는 국부화에 뛰어나다는 장점이 있다.
이와 같이 영상에서 특징점으로 코너점을 추출한 후에, 상관 관계 함수(correlation score)를 이용한 정합 후보점을 추출한다.(S110) 이때 상관 관계 함수는 특징점 정합에서 일반적으로 많이 쓰이는 함수로 영상 쌍에서의 각 특징점과 그 주변의 화소값을 이용하여 두 점의 유사 정도를 나타내는 함수로서 아래 도 3을 참조하여 상세하게 설명한다.
도 3은 본 발명에 따라 두 영상간의 상관 관계를 나타낸 도면이다. 도 3을 참조하면, 첫 번째 영상(ａ)에서 높은 곡률을 가진 특징점인 코너점 이 주어진 경우, 을 중심으로 한 너비 w, 높이 h인 상관 관계 윈도우(correlation window)의 크기를 로 설정한다. 상관 관계 윈도우는 유사도 측정(상관 관계)에 포함시킬 특징점 주변 영역을 의미한다. 그리고 두 번째 영상(b)에서 좌표를 중심으로 높이 , 너비 인 사각형 로 검색 윈도우(search window) 크기를 설정한 후, 상관 관계 함수를 적용하여 두 번째 영상(b)에서의 검색 윈도우 이내에 있는 모든 특징점에 대하여 상관 관계 함수 값을 산출해낸다.
첫 번째 영상(a)의 특징점의 좌표를 (, ), 밝기 값을 (, ), 두 번째 영상(b)의 특징점의 좌표를 (, ), 밝기 값을 (,)라 가정하여 상관 관계 함수인 Score(m1, m2)를 수학식 1과 같이 정의한다.
여기서, 는 특징점인 코너점을 중심으로 한 위도우 내의 화소값들의 분산값으로서 다음 수학식 2와 같다.
여기서, 수학식 2에 있는 k번째 영상의 (u,v)점 주위의 평균을 나타내는 값인 는 다음 수학식 3과 같다.
수학식 1에서 상관 관계 함수인 Score(m1, m2)는 첫 번째 영상 위의 코너점에 대해서 두 번째 영상에 검색 윈도우를 설정한 후, 특징점 주변 화소들의 평균 값()과 분산 값()을 이용하여 구한다. 상관 관계 함수(Score(m1, m2)) 값이 두 영상간의 상관 관계, 즉 유사도가 비슷할 수록 1에 가까워지고, 달라질수록 -1에 가까워지는 값을 가진다. 예컨대 상관 관계의 임계(threshold) 값을 0.8로 하여 상관 관계 함수 값이 0.8 이상인 각 영상쌍의 특징점만 정합 후보점으로 간주한다.
그 다음 본 발명은 직선 성분을 이용한 특징점의 정합 과정에 앞서, 정합 정확성을 높이기 위하여 정합 후보의 특징점과 함께 직선 성분을 사용하여 직선 성분간의 상관 관계(line segment correlation)를 정의하는 라인 스코어 함수(LineScore)를 구한다.(S120)
먼저 두 영상에서의 직선 성분을 추출하는 과정이 선행되어야 한다. 나바티아-바부 에지 추출(navatia-babu edge detector) 알고리즘을 이용하여 두 영상에서의 에지를 추출하고 세선화 및 경계선 연결, 직선 근사 등의 단계를 거쳐 두 영상에서의 직선 성분을 추출한다. 추출된 직선 성분을 이용하여 라인 스코어 함수를 구하는 과정은 도 4 및 도 5를 참조하기로 한다.
도 4는 본 발명에 따라 두 영상내 정합 후보점과 직선 성분 사이의 거리 관계를 나타낸 도면이고, 도 5는 본 발명에 따라 정합 후보점에 대한 이웃 직선 성분 사이의 각도 관계를 나타낸 도면이다.
예컨대 도 4에서 볼 수 있듯이 정합 후보점(m1)(m2)에 대한 이웃 직선 성분(l11, l12, l13)(l21, l22, l23)이 있을 경우, 도 5와 같이 각 직선 성분 l12, l22의 길이(d12, d22) 및 직선 성분 사이의 각도(Θ)를 이용하여 직선 성분의 유사 정도를 나타내는 두 직선 사이의 라인 스코어 함수(LineScore)를 수학식 4와 같이 정의한다. 특징점들 사이의 상관 관계 함수는 특징점의 화소 밝기 값을 이용하여 정의하지만, 에지 추출기를 통한 직선 성분은 영상 쌍에서 대응하는 이웃 직선 성분의 길이가 다를 수 있기 때문에 직선 성분 주변의 화소 밝기 값이 달라질 수 있으므로 화소 밝기 값을 이용하기에 부정확하다. 따라서 라인 스코어 함수(LineScore)는 화소 값을 이용하기보다는 직선 성분 사이의 상대적인 길이와 각도 관계를 이용한다.
여기서 ,는 직선 의 크기를 나타낸다.
수학식 4의 라인 스코어 함수(LineScore)는 두 직선 성분의 상대적인 길이 관계를 나타내는 것으로 분자에 두 직선 성분의 길이 중 작은 값()을 설정하고, 분모에는 두 직선 성분의 길이 중 큰 값()을 설정한다. 라인 스코어 함수(LineScore)는 상관 관계 함수와 같이 -1에서 1까지의 분포 범위를 갖으며 두 직선 성분의 상대적인 길이가 유사할수록 1에 근사하고 그렇지 않을 경우 -1에 근사하게 된다.
그리고 라인 스코어 함수(LineScore)는 각도가 90도에 가까워질수록 0에 가까워지고 0도에 가까워질수록 1에 가까워지는 코사인(cosine) 함수의 특성을 이용하기 때문에 두 직선 성분의 각도 차가 0도∼30도 사이에서는 두 직성 성분의 길이 관계가 각도의 영향을 받지 않도록 한다. 그 이유는 영상 쌍에서 서로 대응하는 두 직선 성분에 작은 회전 및 병진이 있을 경우 두 직선 성분의 각도 차이가 0도∼30도까지는 차이가 날 수 있기 때문에 이러한 영향을 받지 않도록 하는 것이다. 따라 서 두 직선 성분간의 라인 스코어 함수(LineScore)는 두 직선 성분간의 상대적인 길이 크기와 각도 값에 따라 유사 정도가 클 경우 1에 근사하고 유사 정도가 작아질수록 -1에 근사하게 된다.
도 6은 본 발명에 따라 정합 후보점과 이웃 특징점 사이의 거리를 나타낸 도면이고, 도 7은 도 6의 두 직선 사이의 각도 관계를 나타낸 도면이다.
본 발명은 특징점들의 정합 과정에서 정합 후보점과 이웃 특징점인 코너점의 관계도 적용하고자, 도 6 및 도 7과 같이 정합 후보점과 이웃 특징점 사이를 연결한 직선의 거리 및 각도 관계를 함께 이용한다.(S130) 거리 관계는 유클리디언 거리를 사용하고 각도 관계는 코사인 함수를 이용한다.
이러한 정합 후보점과 이웃 코너점의 거리 및 각도 관계를 이용한 특징점의 정합 정도를 나타내는 SM(Strength of Math) 함수(SM)는 하기 수학식 5를 참조한다. 를 첫 번째 영상의 특징점이고 는 두 번째 영상의 특징점이라 가정할 경우, 정합 후보점은 이다. 와 의 1/8 영상 이내에 있는 이웃 특징점들을 각각 라 하고, 이웃 직선 성분을 각각 이라 할때 만약 가 올바른 정합점이라면 주위에 있는 높은 상관 관계값을 가지는 ()와 높은 라인 스코어(LineScore)를 가지는 를 기대할 수 있다. 는 와 , 를 와 라 할때 에 관련된 의 위치는 에 관련된 의 위치와 유사하듯이 에 관련된 직선 성분 의 위치도 에 관련된 의 위치와 유사하다. 반면, 만약 가 오정합이라면 주위에 있는 직선 성분들 사이에서 임계값 0.8이상의 라인 스코어(LineScore)를 여러 개 기대하기는 힘들다.
수학식 5에서 λ는 가중치(weight)를 나타내며 정합 후보점에 대한 이웃 특징점인 코너점을 이용한 좌측항과 이웃 직선 성분을 이용한 우측항에 각각 가중치를 두었다. ckl은 수학식 1의 상관 관계 함수 Score(m1, m2)을 나타낸 것이다. 는 수학식 6과 같이 코너점()들의 평균 거리이고, 은 수학식 7과 같이 직선 성분과 정합 후보점()들의 평균 거리를 나타낸다.
상기 수학식 5의 와 은 각각 다음 수학식 8과 9와 같이 정의한다.
여기서, 값이 일 때 이 정합 후보점이며 의 조건을 갖고, 그 외에는 0이다.
여기서, 값이 일 때 이 정합 후보점이며 의 조건을 갖고, 그 외에는 0이다.
수학식 8과 9에서 값은 상대적인 거리 차이의 임계(threshold) 값을 나타내고 상대적인 거리 차이를 나타내는 및 는 각각 다음 수학식 10 및 수학식 11과 같이 정의한다.
본 발명은 수학식 5와 같이 정합 후보점과 이웃 코너점의 거리 및 각도 관계를 이용한 정합 정도를 나타내는 SM 함수(SM)값들을 합산한 전체 에너지 함수(E)가 최소 에너지로 수렴할 때까지 정합 SM 함수(SM)를 업데이트하는 릴랙세이션 과정(relaxation process)을 수행한다.(S140∼S150)
예컨대 가장 큰 SM 함수값과 두 번째로 큰 SM 함수값의 비를 동시에 고려하여 릴랙세이션 과정을 수행할 수 있으며 정합 SM 함수값들 중에서 상위의 60%정도만 남겨두고 나머지는 제거한다. 전체 에너지 함수(E)의 형태는 정합 SM 함수 값을 모두 합산한 값으로 다음 수학식 12와 같다.
이러한 릴랙세이션 과정을 거친 후에 본 발명은 설정된 개수의 다중 정합 후보의 집합을 선택하여 이에 대응하는 에피폴라 직선으로 초기 기본 함수를 결정한다.(S160∼S170) 여기서 다중 정합 후보는 예를 들어 8개의 정합 후보점이 있을 경우 이에 대한 기본 함수를 구할 수 있는데 이러한 8개의 정합점 집합을 200개 만들어서 초기 기본 함수를 200개 만드는 것을 일컫는 것이다.
그리고 본 발명은 에피폴라 직선과의 거리만을 이용하는 LMedS(Least Median Square) 방법으로 초기 기본 함수의 에피폴라 직선에서 잘못된 정합쌍인 아우트라이어(outlier)를 제거한다.(S180)
일반적으로 비슷한 텍스쳐가 반복할 경우 올바른 정합이 되는 영상 위치에서 50화소값 이상 떨어진 정합이 발생할 확률이 커진다. 이러한 잘못된 정합이 한 쌍이라도 인라이어(inlier)에 포함될 경우 기본 함수의 추정 정확성을 크게 낮추는 요인이 될 수 있다. 도 8에서와 같이 올바른 정합점에서 50화소 이상 떨어진 아우트라이어임에도 불구하고 에피폴라 직선과의 거리는 올바른 정합점과 마찬가지로 0에 가까운 일이 종종 발생하는데, 이 경우 아우트라이어가 제거되지 않는다.
이에 본 발명은 LMedS 방법으로 정합 후보점과 직선 성분 사이의 거리 차를 이용하여 아우트라이어를 제거하고자 도 9와 같이 에피폴라 직선과 방향이 다른 기준 직선을 2개 이상 두어서 직선 성분과 특징점인 코너점과의 거리 차이(di-d'i)의 합을 이용하고 거리 차이의 합이 큰 쌍, 예컨대 5%∼10%를 아우트라이어로 판단하여 제거한다. 이에 대한 수학식은 다음과 수학식 13과 같다.
그러므로 본 발명은 이와 같이 아우트라이어가 제거된 초기 기본 함수를 기본 함수로 추정한다.(S160∼S190)
도 10a 내지 도 10e는 본 발명의 일 실시예에 따라 두 개의 영상으로부터 기본 함수를 추정하는 과정을 컴퓨터 비전으로 나타낸 도면들이다.
우선, 본 발명의 실시예에서는 도 10a 및 도 10b와 같이 두 개의 영상으로부터 CSS 코너점 추출기를 통해 약 340개∼420개의 특징점인 코너점을 추출하며 나바티아-바부 에지 추출 알고리즘을 통해 약 100개의 직선 성분을 추출하여 특징점을 정합하고자 한다.
도 10a의 (a)는 첫 번째 영상이며 (b)는 두 번째 영상을 나타낸 것이다. (b)는 (a)의 첫 번째 영상에서 가로축으로 약 20㎝∼25㎝ 병진하고 1도 미만으로 회전한 영상이다.
도 10b의 (a)는 첫 번째 영상에서 약 100개의 직선 성분인 에지를 추출한 영상이며 (b)는 두 번째 영상에서 약 100개의 에지를 추출한 영상이다. 본 발명에서는 직선 성분인 에지를 정합 후보점에 대한 이웃 직선 성분으로 이용하였다.
도 10c는 도 10a의 두 영상으로부터 CSS 코너점 추출기와 해리스(Harris) 코너점 검출기를 사용하여 약 340개의 특징점인 코너점을 추출한 영상들(ㄷ)(ㄹ)을 비교 도시한 도면이다. (ㄷ)는 본 발명의 CSS 코너점 추출기를 통해 특징점을 추출한 영상이며 (ㄹ)은 일반 해리스 코너점 추출기를 통해 특징점을 추출한 영상을 나타낸다. (ㄷ)과 (ㄹ)의 영상을 비교하면 해리스 코너점 추출기에서 구해진 (ㄹ) 영상은 왼쪽으로 특징점들이 몰려 있는데 반하여 CSS 코너점 추출기의 (ㄷ) 영상은 화면 전반에 특징점들이 균일하게 분포되어 CSS 코너점 추출기가 해리스 코너점 추출기보다 국부 화면에서 더 좋은 성능을 보여줌을 알 수 있다.
도 10d의 (a), (b)는 본 발명에 따라 특징점을 정합한 첫 번째 영상과 두 번째 영상을 나타낸 도면이다. 두 영상에서 점들은 추출한 코너점과 정합된 코너점들을 의미하고 숫자로 표시된 번호는 각 정합 쌍들에 대한 번호를 나타낸 것이다. 본 발명의 특징점 정합 방법이 적용된 두 영상은 정합 후보점에 대해 이웃 특징점들 뿐만 아니라 이웃 직선 성분으로부터도 정합 SM 함수값을 지원 받기 때문에 정합 값이 커지고 추출될 수 있는 정합 쌍들의 수가 늘어나서 보다 정확한 정합 결과를 얻을 수 있다.
도 10e는 본 발명의 따라 특징점 정합한 영상에 직선 성분을 이용하여 아우트라이어를 제거한 후에 기본 함수를 추정하고 두 번째 영상 위의 점들에 대해 기본 함수로 변환한 첫 번째 영상 위의 에피폴라 직선을 나타내고 있다. 도 10a에서 두 번째 영상(b)이 카메라의 가로축 방향 이동으로 첫 번째 영상(a)보다 병진 이동하였더라도 본 발명에서 직선 성분을 이용하여 아우트라이어를 모두 제거하였기 때문에 에피폴라 직선의 방향이 가로축과 거의 평행하게 된다.
도 11은 참값, 장(Zhang) 방법, 본 발명에 따라 추정한 기본 함수에 대한 에피폴라 직선을 비교한 도면이다. 도 11의 (a)는 기본 함수의 참값에 대한 에피폴라 직선을 나타내며 (b)는 특징점 정합 방법중에서 성능이 좋은 장(Zhang)의 특징점 정합 방법을 이용하여 추정한 기본 함수에 대한 에피폴라 직선을 나타낸다. 도 11의 (c)는 본 발명의 직선 성분을 이용하여 추정한 기본 함수에 대한 에피폴라 직선을 나타내고 있다.
이들 도면들을 비교하면, 장(Zhang) 방법으로 추정한 기본 함수의 에피폴라 직선(c)보다 본 발명의 에피폴라 직선(b)이 도 11의 (a)의 기본 함수의 참값에 대한 에피폴라 직선에 근접해 있음을 알 수 있다. 또한 아래 표 1과 같이 장(Zhang)의 정합 결과에 대한 평균 오차가 0.30 화소 거리인데 반하여 본 발명의 평균 오차가 0.28 화소 거리로 줄어들었음을 알 수 있다.
실험 영상 평균 오차(화소거리)
장(Zhang)의 기본 함수의 에피폴라 직선 0.30
본 발명의 기본 함수의 에피폴라 직선 0.28
다음 표들을 참조하여 본 발명과 장(Zhang)의 정합 방법으로 추정한 기본 함수의 값들을 좀더 상세하게 비교한다.
표 2는 기본 함수의 참값을 나타낸 것이다.
0.00000006234841 -0.00000109918972 -0.00308668008074
-0.00000050022464 -0.00000008099970 0.04532295092940
0.00113006262109 -0.04457509145141 1.00000000000000
다음 표 3 및 표 4은 장(Zhang)과 본 발명의 특징점 정합 방법을 각각 10회 수행하여 추정한 기본 함수의 평균값을 나타낸 것이다.
0.00000130296382 0.00001885006168 -0.00452728290111
-0.00001965289630 0.00000486490899 0.03187458962202
0.00271739950404 -0.03379547223449 1.00000000000000
0.00000070143318 0.000009821890704 -0.00405068648979
-0.00001206771594 0.00000139330405 0.04380798712373
0.00192226355781 -0.04345941171051 1.00000000000000
본원 발명의 특징점 정합 방법으로 추정한 기본 함수의 평균값(표 2)이 표 3의 장(Zhang) 특징점 정합 방법으로 추정한 기본 함수의 평균값보다 표 1의 기본 함수의 참값에 근접되어 있음을 알 수 있다. 표 3 및 표 4의 기본 함수의 평균 값들은 버케팅 기법으로 임의 추출에 의해 기본 함수를 추정하는 것이므로 기본 함수의 값이 본 발명과 장(Zhang)의 정합 방법을 수행할 때마다 달라질 수 있다. 하지만 반복 수행한 기본 함수의 분산 값을 살펴보면 그 안정성을 평가할 기준이 된다.
다음 표 5 및 표 6은 장(Zhang)과 본 발명의 특징점 정합 방법을 각각 10회 수행하여 추정한 기본 함수의 분산 값을 나타낸 것이다.
0.00000000002851 0.00000000860072 0.00116404402070
0.00000000887883 0.00000000042663 0.00882381852716
0.00135278003290 0.00633013155311 0.00000000000000
0.00000000000154 0.00000000078576 0.00003871606896
0.00000000081279 0.00000000003651 0.00039316053153
0.00004183698184 0.00027195419534 0.00000000000000
표 5 및 표 6에서 볼 수 있듯이, 반복 수행한 기본 함수의 분산 값도 본 발명이 장(Zhang)의 정합 방법보다 더 작음을 확인할 수 있고, 이로 인해 본 발명이 장(Zhang)의 방법보다 안정적으로 기본 함수의 참값에 근접하도록 추정하고 있음을 확인할 수 있다.
이상과 같이 본 실시예에서는 여러 영상에 대한 실험을 통하여 새로이 정의한 정합 SM 함수에 의한 특징점 정합이 평균 값 및 오차를 통하여 매우 정확한 특징점 정합을 수행하고, 분산 값을 통해 더 안정적인 결과를 가짐을 알 수 있다.
도 12는 카메라가 전/후 이동한 영상에 대한 본 발명의 특징점 정합 방법으로 추정한 기본 함수의 에피폴라 직선을 나타낸 도면으로서, 카메라가 전/후로 이동하였기 때문에 에피폴라 직선이 영상 근처의 한 점에 수렴하고 있음을 확인할 수 있다.
도 13은 카메라가 가로축으로 평행하게 이동한 영상에 대해 본 발명의 특징점 정합 방법으로 추정한 기본 함수의 에피폴라 직선을 나타낸 도면으로서, 카메라가 가로축으로 이동하였기 때문에 에피폴라 직선이 가로축과 평행함을 확인할 수 있다.
이상 설명한 바와 같이, 본 발명은 정합 후보 점들에서 이웃 코너점들과의 거리 뿐 아니라 정합 후보점과 이웃 코너점들을 연결한 직선의 각도 관계 및 정합 후보점 주위의 이웃 직선 성분과의 거리를 이용하여 정합 정확도를 높일 수 있고, 직선 성분을 이용하여 아우트라이어를 제거할 수 있다.
따라서 본 발명은 종래 다른 특징점 정합 방법, 예컨대 장(Zhang) 방법보다 두 영상의 특징점 정합을 더 정확하도록 하여 3차원 영상을 복원하는데 필요한 스테레오 기법의 신뢰성 있는 기본 함수를 추정할 수 있다.
한편, 본 발명은 상술한 실시예에 국한되는 것이 아니라 후술되는 청구범위에 기재된 본 발명의 기술적 사상과 범주내에서 당업자에 의해 여러 가지 변형이 가능하다.
도 1은 종래 기술에 의한 3차원 영상을 복원하는 스테레오 기법의 기본 함수를 추정하는 과정을 나타낸 흐름도,
도 2는 본 발명에 따른 3차원 영상을 복원하는 스테레오 기법의 기본 함수를 추정하는 과정을 나타낸 흐름도,
도 3은 본 발명에 따라 두 영상간의 상관 관계를 나타낸 도면,
도 4는 본 발명에 따라 두 영상내 정합 후보점과 직선 성분 사이의 거리 관계를 나타낸 도면,
도 5는 본 발명에 따라 정합 후보점에 대한 이웃 직선 성분 사이의 각도 관계를 나타낸 도면,
도 6은 본 발명에 따라 정합 후보점과 이웃 특징점 사이의 거리를 나타낸 도면,
도 7은 도 6의 두 직선 사이의 각도 관계를 나타낸 도면,
도 8은 일반적인 정합 후보점과 에피폴라 직선과의 거리를 나타낸 도면,
도 9는 본 발명에 따라 정합 후보점과 직선 성분 사이의 거리를 이용하여 아우트라이어를 제거하는 것을 설명하기 위한 도면,
도 10a 내지 도 10e는 본 발명의 일 실시예에 따라 두 개의 영상으로부터 기본 함수를 추정하는 과정을 컴퓨터 비전으로 나타낸 도면들,
도 11은 참값, 장(Zhang) 방법, 본 발명에 따라 추정한 기본 함수에 대한 에피폴라 직선을 비교한 도면,
도 12는 카메라가 전/후 이동한 영상에 대한 본 발명의 특징점 정합 방법으로 추정한 기본 함수의 에피폴라 직선을 나타낸 도면,
도 13은 카메라가 가로축으로 평행하게 이동한 영상에 대해 본 발명의 특징점 정합 방법으로 추정한 기본 함수의 에피폴라 직선을 나타낸 도면.

Claims (5)

  1. 두 영상의 특징점을 정합하여 3차원 영상을 복원하는데 필요한 기본 함수를 추정하는 방법에 있어서,
    상기 두 영상 내에서 코너점으로 특징점을 추출하고 추출된 특징점들로부터 정합 후보점을 추출하는 단계와,
    상기 두 영상의 정합 후보점내 임의의 특징점과 이에 이웃하는 직선 성분 사이의 상관 관계를 구하는 단계와,
    상기 정합 후보점과 이웃 특징점 사이에서 직선 성분의 상관 관계를 이용하여 특징점 정합을 구하는 단계와,
    상기 특징점 정합을 합한 에너지 값이 수렴하는지 판단하는 단계와,
    상기 에너지 값이 수렴할 경우 정합된 특징점으로부터 초기 기본 함수를 결정하는 단계와,
    상기 초기 기본 함수의 아우트라이어를 제거하여 정합 점으로부터 기본 함수를 추정하는 단계
    를 포함하는 특징점 정합 및 기본 함수 추정 방법.
  2. 제 1항에 있어서,
    상기 정합 후보점을 추출하는 단계는, 두 영상의 각 특징점과 그 주변 화소값으로 두 점의 유사성을 나타내는 상관 관계 함수에 의해 정합 후보점을 추출하는 것을 특징으로 하는 특징점 정합 및 기본 함수 추정 방법.
  3. 제 1항에 있어서,
    상기 정합 후보점의 특징점과 직선 성분 사이의 상관 관계는 상기 정합 후보점과 이웃 특징점 사이를 연결한 직선의 거리 및 각도의 유사성을 나타내는 함수에 의해 구해지는 것을 특징으로 하는 특징점 정합 및 기본 함수 추정 방법.
  4. 제 1항에 있어서,
    상기 특징점 정합을 구하는 단계이후에, 릴랙세이션 과정을 수행하여 상기 정합 후보점과 정합 값들을 합산한 에너지값이 최소 에너지로 수렴할 때까지 정합을 업데이트하는 단계를 더 포함하는 것을 특징으로 하는 특징점 정합 및 기본 함수 추정 방법.
  5. 제 1항에 있어서,
    상기 초기 기본 함수의 아우트라이어를 제거하는 단계는, 정합 후보점과 직선 성분 사이의 거리 차이의 합이 설정된 기준치 이상인 정합 점들을 아우트라이어로 제거하는 것을 특징으로 하는 특징점 정합 및 기본 함수 추정 방법.
KR10-2003-0046183A 2003-07-08 2003-07-08 특징점 정합 및 기본 함수 추정 방법 KR100511721B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR10-2003-0046183A KR100511721B1 (ko) 2003-07-08 2003-07-08 특징점 정합 및 기본 함수 추정 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR10-2003-0046183A KR100511721B1 (ko) 2003-07-08 2003-07-08 특징점 정합 및 기본 함수 추정 방법

Publications (2)

Publication Number Publication Date
KR20050007504A KR20050007504A (ko) 2005-01-19
KR100511721B1 true KR100511721B1 (ko) 2005-09-02

Family

ID=37220943

Family Applications (1)

Application Number Title Priority Date Filing Date
KR10-2003-0046183A KR100511721B1 (ko) 2003-07-08 2003-07-08 특징점 정합 및 기본 함수 추정 방법

Country Status (1)

Country Link
KR (1) KR100511721B1 (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101195942B1 (ko) 2006-03-20 2012-10-29 삼성전자주식회사 카메라 보정 방법 및 이를 이용한 3차원 물체 재구성 방법
KR100917615B1 (ko) * 2008-02-25 2009-09-17 한세대학교 산학협력단 한 대의 카메라를 이용한 최소 오차를 갖는 레이저 빔의위치 검출 방법 및 장치
KR101007409B1 (ko) * 2010-05-26 2011-01-14 삼성탈레스 주식회사 영상 융합 처리 장치 및 방법
KR101913336B1 (ko) 2011-10-06 2018-10-31 삼성전자주식회사 이동 장치 및 그 제어 방법
KR101284252B1 (ko) * 2011-11-04 2013-07-09 한국과학기술원 영상 곡률 공간정보를 이용한 코너검출방법
KR102113813B1 (ko) * 2013-11-19 2020-05-22 한국전자통신연구원 정합 쌍을 이용한 신발 영상 검색 장치 및 방법

Also Published As

Publication number Publication date
KR20050007504A (ko) 2005-01-19

Similar Documents

Publication Publication Date Title
US10706622B2 (en) Point cloud meshing method, apparatus, device and computer storage media
US7324687B2 (en) Color segmentation-based stereo 3D reconstruction system and process
Candocia et al. A similarity measure for stereo feature matching
CN110866924A (zh) 一种线结构光中心线提取方法及存储介质
US20110176722A1 (en) System and method of processing stereo images
CN111242855B (zh) 基于rgb-d的ssim结构相似度的迭代深度图结构修复方法
KR101753360B1 (ko) 시점 변화에 강인한 특징점 정합 방법
Bukhari et al. Robust radial distortion from a single image
KR100511721B1 (ko) 특징점 정합 및 기본 함수 추정 방법
Wang et al. Depth map recovery based on a unified depth boundary distortion model
CN111160362B (zh) 一种fast特征均匀化提取与帧间特征误匹配去除方法
CN109741245B (zh) 平面信息的插入方法及装置
Takimoto et al. Epipolar geometry estimation, metric reconstruction and error analysis from two images
Phogat et al. Different image registration methods—an overview
Zhang et al. Iterative fitting after elastic registration: An efficient strategy for accurate estimation of parametric deformations
Tang et al. Dense Stereo Matching Based On Propagation with Voronoi Diagram.
Hess-Flores et al. Ray divergence-based bundle adjustment conditioning for multi-view stereo
Banks et al. A hybrid stereo matching algorithm incorporating the rank constraint
Kim et al. Occlusion Handled Block-Based Stereo Matching with Image Segmentation
Papadimitriou et al. A stereo disparity algorithm for 3D model construction
JP4669949B2 (ja) 移動物体領域抽出方法
Shao et al. Segment-based depth estimation in light field using graph cut
Mitani et al. Robust template matching by using variable size block division
Banks et al. An accurate and reliable stereo matching algorithm incorporating the rank constraint
Yang et al. Disparity estimation using adaptive superpixel assignment and gradient weight, binary cost, and dilation based local matching algorithm

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
N231 Notification of change of applicant
FPAY Annual fee payment

Payment date: 20120810

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20130814

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20140722

Year of fee payment: 10

LAPS Lapse due to unpaid annual fee