KR100792172B1 - 강건한 대응점을 이용한 기본행렬 추정 장치 및 그 방법 - Google Patents

강건한 대응점을 이용한 기본행렬 추정 장치 및 그 방법 Download PDF

Info

Publication number
KR100792172B1
KR100792172B1 KR1020060060145A KR20060060145A KR100792172B1 KR 100792172 B1 KR100792172 B1 KR 100792172B1 KR 1020060060145 A KR1020060060145 A KR 1020060060145A KR 20060060145 A KR20060060145 A KR 20060060145A KR 100792172 B1 KR100792172 B1 KR 100792172B1
Authority
KR
South Korea
Prior art keywords
points
basic matrix
candidate
image
point
Prior art date
Application number
KR1020060060145A
Other languages
English (en)
Other versions
KR20080001794A (ko
Inventor
윤용인
최종수
Original Assignee
중앙대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 중앙대학교 산학협력단 filed Critical 중앙대학교 산학협력단
Priority to KR1020060060145A priority Critical patent/KR100792172B1/ko
Publication of KR20080001794A publication Critical patent/KR20080001794A/ko
Application granted granted Critical
Publication of KR100792172B1 publication Critical patent/KR100792172B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G06T7/41—Analysis of texture based on statistical description of texture
    • G06T7/45—Analysis of texture based on statistical description of texture using co-occurrence matrix computation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 비교정된 두 장의 영상으로부터 잘못된 대응점이 추출되는 것을 최소화시킴으로써 종래에 비해 정확도가 높은 최적의 기본행렬을 추정할 수 있는 장치 및 그 방법을 개시한다.
본 발명의 기본행렬 추정 장치는, 영상 입력수단과, 입력된 영상으로부터 특징점을 추출하는 특징점 추출수단과, 추출된 특징점들로부터 상관함수에 따른 상관도가 소정 범위를 만족하는 후보점을 선택하는 후보점 선택수단과, 영상을 4등분 분할하여 각 영역 내의 후보점들에 대한 움직임 벡터의 미디언 벡터를 산출하고, 산출된 미디언 벡터의 크기와 방향에 대한 소정 임계값을 벗어나는 후보점들을 제거하는 후보점 선별수단, 그리고 각 영상을 8×8 영역으로 구획하여, 구획된 영역 중 8개의 영역을 선택한 후, 선택된 각 영역 내에서 하나의 대응점을 임의로 추출하여 총 8쌍의 대응점을 선택하고, 선택된 대응점으로부터 기본행렬을 계산하되, 계산된 기본행렬에 대해 에피폴라 기하학을 형성하여 에피폴라 평면 선분과 해당 대응점 간의 거리 오차가 최소인 기본행렬을 선택하는 기본행렬 선택수단으로 구성된다.
비교정된 영상, 에피폴라, 기하학, 기본행렬, 움직임 벡터

Description

강건한 대응점을 이용한 기본행렬 추정 장치 및 그 방법{APPARATUS AND METHOD FOR ESTIMATING FUNDAMENTAL MATRIX USING ROBUST CORRESPONDENCE POINT}
도 1은 에피폴라 기하학의 개념을 나타낸 예시도,
도 2는 본 발명에 따른 기본행렬 추정 장치의 개략적 구성도,
도 3은 4등분 분할된 영상에서 후보점에 대한 움직임 벡터를 나타낸 예시도,
도 4는 대응점들을 포함하는 8×8 영역 분할을 나타낸 예시도,
도 5는 본 발명에 따른 기본행렬 추정 방법에 대한 개략적 흐름도,
도 6a는 '건물' 영상에 대해 본 발명에 따른 방법과 RANSAC 방법에 의한 결과를 보인 영상,
도 6b는 도 6a의 처리 결과를 나타낸 표,
도 7a는 '캐슬' 영상에 대해 본 발명에 따른 방법과 RANSAC 방법에 의한 결과를 보인 영상,
도 7b는 도 7b의 처리 결과를 나타낸 표.
** 도면의 주요 부분에 대한 부호의 설명 **
100 : 기본행렬 추정 장치 110 : 영상 입력수단
120 : 특징점 추출수단 130 : 후보점 선택수단
140 : 후보점 선별수단 150 : 기본행렬 선택수단
본 발명은 강건한 대응점을 이용한 기본행렬 추정 장치 및 그 방법에 관한 것으로서, 특히 비교정된(un-calibrated) 두 장의 좌우 영상으로부터 에피폴라 기하학(epipolar geometry)을 통한 강건한 대응점을 추출함으로써 최적의 기본행렬을 추정하는 장치 및 그 방법에 관한 것이다.
자연 영상에서의 대응점(correspondence point) 추출은, 다중영상 생성(multi-view image generation)[1], 카메라 교정(camera calibration)[2], 스테레오 영상으로부터의 3차원 영상 재구성[3]과 같은 다양한 분야에서 중요한 역할을 한다.
위 스테레오 영상의 경우, 중복 촬영된 임의의 영상으로부터 3차원 정보를 얻기 위한 기술로서, 로봇 네비게이션은 물론 가상현실 등의 분야에서 다양하게 이용된다. 3차원 공간에서 임의의 한 점이 대상 스테레오 영상에 각각 투영되면, 두 영상간에는 대응점이 나타나고, 이들의 관계는 에피폴라 기하학으로 설명될 수 있다. 에피폴라 기하학을 이용할 경우, 두 대의 카메라에 대한 상대적인 기하정보를 포함하고 있는 기본행렬(fundamental matrix)을 유도할 수 있으며, 대상 영상에 존재하는 한 점에 대응하는 대응점을 다른 영상에서 찾는 특징점 정합 과정을 수행할 수 있게 된다.
도 1을 참조하여 에피폴라 기하학에 대해 개략적으로 살펴보면, 먼저 두 대의 카메라에서 획득된 영상 사이의 관계는, 점과 점의 대응이 아닌, 점과 선의 대응으로 정의될 수 있다는 것이 요지라 할 수 있다. 공간의 임의의 점
Figure 112006046975810-pat00001
을 서로 다른 위치의 카메라(
Figure 112006046975810-pat00002
,
Figure 112006046975810-pat00003
)에 의한 이미지 평면(
Figure 112006046975810-pat00004
,
Figure 112006046975810-pat00005
)에 투영하면, 각각의 영상에 점
Figure 112006046975810-pat00006
과
Figure 112006046975810-pat00007
로 맺히며, 이러한 두 점을 대응점이라고 한다. 공간상의 점
Figure 112006046975810-pat00008
과 두 카메라가 이루는 평면은 에피폴라 평면이며, 에피폴라 평면과 영상 평면이 교차하는 선을 에피폴라 선(
Figure 112006046975810-pat00009
,
Figure 112006046975810-pat00010
)이라고 하고, 두 카메라를 연결하는 선분과 각 영상 평면의 교점을 에피폴(
Figure 112006046975810-pat00011
,
Figure 112006046975810-pat00012
)이라고 한다. 여기서 공간상의 점 M은 투영된 점
Figure 112006046975810-pat00013
,
Figure 112006046975810-pat00014
는 에피폴라 선상에 존재하며, 이를 에피폴라 구속 조건이라고 한다.
이에 대한 대수적 표현이 앞서 언급한 기본행렬(F)이며, 아래의 [수학식 1]과 같은 조건을 만족한다.
Figure 112006046975810-pat00015
................................. [수학식 1]
현재, 두 장의 영상 간에 대응점을 정확히 찾는 문제는 컴퓨터 시각(computer vision) 분야에 있어서 중요한 과제로 남아 있다. 이 과제의 제한 조건은 영상에 대한 일체 기지(旣知)의 정보 없이 두 영상간의 기하학적 정보만이 있다는 것이다. 영상 정합 방법은 크게 두 가지로 분류할 수 있다. 하나는 형판(template) 정합으로 영상 간의 밝기 값에서 상관관계를 알고리즘을 말하며, 유사한 화소 값을 찾아내는 것이다[4]. 다른 하나는 특징 정합으로써 두 영상 간에 특징이 있는 정보를 추출하는 알고리즘을 말한다[5].
현재까지 기본행렬을 추정하기 위한 여러 가지 알고리즘이 연구되었는데, 예를 들어, 직접방법, 반복적 방법 및 강건한 방법 등이 알려져 있다.
직접방법은 7 또는 8개 이상의 대응점 쌍에 대하여 최소 자승법으로 기본행렬을 신속히 추정할 수 있지만, 영상 노이즈 등에 의하여 영향을 많이 받게 되는 단점이 있다. 반복적 방법은 최적화 기법을 기반으로 하며, 선형 방법보다 보다 정확한 결과를 얻을 수 있지만 수행 시간이 오래 걸리며, 위치 오차와 불일치 오차에 의한 영향을 줄일 수 없다는 단점이 있다. 한편, 비교적 최근에 제안된 강건한 방법은, 대상 영상의 양자화 등에 의한 위치 오차 또는 잘못된 매칭 오차에 의한 아웃라이어(outlier)의 영향을 줄일 수 있는 장점이 있는데, 그 대표적인 예가 M.Fischer 등이 제안한 RANSAC과 같은 방법이다[6].
RANSAC 방법에 의하면, 초기 대응되는 후보점들을 기반으로 직접 에피폴라 기하학을 구성하면서 잘못된 대응점들을 하나씩 제거해 나가는 방식을 취하고 있다. 그러나 이 방법의 경우, 알고리즘에 포함시키는 몇 가지 임계값들을 결정하는데 있어서 초기에 얻어진 특징점들의 분포와 대응 후보점들의 위치에 따라서 실험적으로 그 값을 결정해야 하고, 계산된 값들 중에 임계값들에 대한 결과는 상황에 따라서 큰 차이를 보이는바, 실제 적용에 있어서 많은 제약이 따른다.
Z. Zhang의 경우에도 주변 대응점들과 상호 거리 정보를 이용하여 초기 대응된 후보점들 가운데 잘못된 후보점들을 제거하는 알고리즘이 포함되어 있지만, 상호 거리 정보를 이용하기 때문에 큰 오차를 가지는 하나의 후보점 쌍에 대해서 주변의 대응 후보점들이 모두 제거되는 등의 비교적 안정적이지 못한 결과를 보이고 있다[7].
문 헌 정 보
[1] R. Hartly and A. Zisserman, Multiple View Geometry in Computer Vision, Cambridge University Press, 2000.
[2] Z. Zhang, "A Flexible New Techinque for Camera Calibration," IEEE Transaction on Pattern Analysis and Machine Intelligence, vol. 22, no. 11, pp. 1-20, 1998.
[3] R. Cipolla and E. Boyer, "3D Model Acquisition from Uncalibrated Images," IAPR Workshop on Machine Vision Applications, pp. 559-568, 1998.
[4] P. Fua, "A Parallel Stereo Algorithm that Produces Dense Depth Maps and Preserves Image Features," Machine Vision and Applications, vol. 6, no. 1, 1993.
[5] R. Horaud and T. Skordas, "Stereo Correspondence Through Feature Grouping and Maximal Cliques," IEEE Trans. PAM, vol. 11, no 12, pp. 1310-1180, 1989.
본 발명은 전술한 문제점들을 해결하기 위해 창안된 것으로서, 본 발명의 주된 목적은 비교정된 두 장의 영상으로부터 잘못된 대응점이 추출되는 것을 최소화시킴으로써, 종래에 비해 정확도가 높은 최적의 기본행렬을 추정할 수 있는 장치 및 방법을 제공함에 있다.
도 2는 본 발명의 기본행렬 추정 장치(100)에 대한 개략적인 구성을 나타낸 도면으로서, 영상 입력수단(110), 특징점 추출수단(120), 후보점 선택수단(130), 후보점 선별수단(140) 및 기본행렬 선택수단(150)으로 구성되어 있다.
영상 입력수단(110)은 비교정된(un-calibrated) 좌우 영상(10)을 입력 받으며, 특징점 추출수단(120)은 밝기 정보만을 포함하도록 처리된 좌우 영상에 대해 밝기의 변화량을 측정함으로써 특징점을 추출한다.
여기서, 특징점 추출은 종래의 Harris 모서리 탐색 방법에 따른 아래의 [수학식 2]를 통해 이루어진다[참조 논문: C. Harris and M.Stephens, "A combined corner and edge detector", 4th Alvey Vision Conference, pp.147-151, 1988].
Figure 112006046975810-pat00016
.......................... [수학식 2]
상기 수학식의
Figure 112006046975810-pat00017
는 다음과 같은 행렬 요소를 갖는다.
Figure 112006046975810-pat00018
단, 밝기 영상
Figure 112006046975810-pat00019
에서
Figure 112006046975810-pat00020
와
Figure 112006046975810-pat00021
는
Figure 112006046975810-pat00022
와
Figure 112006046975810-pat00023
방향으로의 미분을 나타낸다.
후보점 선택수단(130)은 상기 좌우 영상에서 추출된 특징점들로부터 상관함수에 따른 상관도가 소정 범위를 만족하는 후보 대응점(이하, '후보점')을 선택하는데, 보다 구체적으로 좌우 영상에 상관함수를 적용하기 위한 상관 윈도우의 크기 는 해당 중심점에 대해서
Figure 112006046975810-pat00024
로 설정하고, 두 번째 영상에서 중심점 주위로 사각형의 검색 영역의 크기를
Figure 112006046975810-pat00025
로 설정한 후, 첫 번째 영상에서의 후보점
Figure 112006046975810-pat00026
과 두 번째 영상에서의 검색 영역 안에 놓여있는 후보점
Figure 112006046975810-pat00027
사이의 상관성을 검사한다.
따라서 앞서 언급한 상관함수는 아래의 [수학식 3]으로 정의된다.
[수학식 3]
Figure 112006046975810-pat00028
여기서, score는 상관도를 의미하며,
Figure 112006046975810-pat00029
이고,
Figure 112006046975810-pat00030
는 점 (
Figure 112006046975810-pat00031
,
Figure 112006046975810-pat00032
)에서의 평균을 나타내며,
Figure 112006046975810-pat00033
는 (
Figure 112006046975810-pat00034
,
Figure 112006046975810-pat00035
)의 이웃하는
Figure 112006046975810-pat00036
에서 영상
Figure 112006046975810-pat00037
의 표준 편차를 나타내고, 상기
Figure 112006046975810-pat00038
는 아래와 같이 정의된다.
Figure 112006046975810-pat00039
또한, 와
Figure 112006046975810-pat00041
는 각각 좌우 영상의 해당 화소 값을 나타내고,
Figure 112006046975810-pat00042
과
Figure 112006046975810-pat00043
은 상관관계를 계산하는 영역의 크기를 나타내며, 일반적으로
Figure 112006046975810-pat00044
=7,
Figure 112006046975810-pat00045
=7을 사용한다.
상관도(score)의 범위는 위에서 정의한 [수학식 3]에서 보듯이 정규 화(normalization)를 거쳤기 때문에 -1에서 1사이의 값을 가지면 두 영상의 상관도가 정확히 일치하는 경우에는 이론적으로 1의 값을 갖게 된다. 본 발명에서는 임계값을 0.8로 설정하여, 상관도가 0.8이상 1이하의 값을 갖는 후보점들이 상기 추출된 좌우 영상의 특징점들로부터 선택되는 것으로 하겠으나, 본 발명이 이에 한정되는 것은 아니다.
이때 [수학식 3]은 영상 내의 모든 화소 값에 대해서가 아닌 초기 후보점(특징점)에 대해서만 연산을 수행하기 때문에 종래에 비해 처리 속도를 향상시킬 수 있다.
참고적으로 상술한 상관함수 및 상관 윈도우에 관한 보다 상세한 기술적 내용은 Z. Zhang의 논문에서 참조 가능하다[Z. Zhang, R. Deriche, O. Faugeras, and Q.-T. Luong, "A Robust Technique for Matching Two Uncalibrated Images Through the Recovery of the Unknown Epipolar Geometry," Artificial Intelligence Journal, vol. 78, pp. 87-119, 1995].
한편, 후보점 선별수단(140)은 앞서 언급한바와 같이 선택된 후보점들 중에서 잘못된 후보점들을 제거하는 기능을 수행하는데, 이는 선택된 후보점들에 대한 움직임 벡터(motion vector)를 기반으로 미디언 벡터(median vector)를 산출하고, 산출된 미디언 벡터의 크기 및 방향에 대한 임계값을 벗어나는 후보점들을 제거함으로써 올바른 후보점들이 선별된다.
구체적으로 도 3에 도시된 바와 같이 좌우 영상 각각에 대해 4등분 분할하여 각 영역 내에서 대표되는 움직임 벡터를 찾아낸다. 이때 상기 움직임 벡터의 대표 값은 해당 영역 내에서 빈도가 가장 높은 값이어야 하므로 평균값이 아닌 중간 값을 취한다. 각 영역의 대표 값으로 찾아진 미디언 벡터를 기반으로 크기와 방향에 대한 소정 임계값을 벗어나는 후보점들을 제거한다. 본 발명에서 소정 임계값은 영상마다 실험적으로 찾아내는 것이 바람직하다.
각 구간의 미디언 벡터를
Figure 112006046975810-pat00046
라하고, 해당 영역에 포함된 각 후보점들의 움직임 벡터를
Figure 112006046975810-pat00047
라 하면,
Figure 112006046975810-pat00048
의 크기에 해당하는
Figure 112006046975810-pat00049
성분과 방향에 해당하는
Figure 112006046975810-pat00050
성분에 대해서 아래와 같이 두 가지의 경우(조건식 ①,②)에 잘못된 후보점으로 판별한다.
①
Figure 112006046975810-pat00051
> 크기 임계값
②
Figure 112006046975810-pat00052
> 방향 임계값
다음으로 기본행렬 선택수단(150)은 상기 선별된 후보점들, 즉 대응점들로부터 8점 알고리즘을 통해 기본행렬을 계산하되, 에피폴라 기하학을 기반으로 에피폴라 평면 해당 대응점 간의 거리 오차가 최소인 행렬을 최적의 기본행렬(
Figure 112006046975810-pat00053
)로 선택한다.
이러한 기본행렬 선택수단(150)은 RANSAC(RANdom SAmple Consensus) 방법을 이용하고 있으나 다음과 같은 차이가 있다.
첨부된 도 4에 보인바와 같이 영상에 대해서 대응점들을 포함하는 사각 테두리를 씌우고 그 테두리를 8×8 영역으로 구획하여 8개의 영역을 임의로 선택한 후, 선택된 각 영역 내에서 하나의 대응점을 임의로 뽑아 전체적으로 8쌍의 대응점을 얻어내어 8점 알고리즘을 통해 기본행렬을 계산한다. 이에 대한 기초적 기술적 내용은 L. Higgins의 논문에서 참조 가능하다[L. Higgins, "A Computer Algorithm for Reconstructing a Scene from Two Projections," Nature, vol. 293, pp. 133-135, 1981].
이러한 과정으로 반복적으로 계산된 기본행렬 중에서, 에피폴라 평면의 기하학을 형성하여 에피폴라 평면 선분과 해당 대응점 간의 거리 오차를 계산하는 아래의 [수학식 4]의 값이 최소가 되는 행렬이 최적의 기본행렬로서 선택된다.
Figure 112006046975810-pat00054
......................... [수학식 4]
상술한 바를 토대로 본 발명의 기본행렬 추정 방법은 도 5와 같이 정리될 수 있다.
먼저, 밝기 정보만을 포함하도록 처리된 좌우 영상에 대해 밝기의 변화량을 측정하여 특징점을 추출한다(S501). 이는 [수학식 2]의 Harris 모서리 탐색 방법으로 이루어진다.
뒤미처 [수학식 3]에서 보인 상관함수를 근간으로 상기 추출된 특징점들 중에서 소정 범위의 상관도(score)를 만족하는 후보점을 선택한다(S502).
좌우 영상 각각을 4등분 분할하고(S503), 각 영역마다 상기 S502 과정에서 선택된 후보점들에 대한 움직임 벡터를 기반으로 미디언 벡터를 산출한 후(S504), 각 영역마다 산출된 미디언 벡터의 크기 및 방향에 대해 임계값을 벗어나는 후보점 들을 제거한다(S505). 이때의 임계값은 영상마다 달리 설정될 수 있으며, 앞서 설명한 두 가지 조건식에 의해 잘못된 후보점들이 판별된다.
다음으로 좌우 영상 각각에 대해 대응점들을 포함하는 사각 테두리를 설정하고, 상기 테두리를 8×8 영역으로 구획하여(S506), 구획된 영역(64개) 중 8개의 영역을 임의로 선택한 후(S507), 선택된 각 영역 내에서 임의로 하나의 대응점을 선택하여, 총 8쌍의 대응점을 선택한다(S580).
선택된 8쌍의 대응점을 기반으로 8점 알고리즘을 통해 기본행렬을 계산하고(S509), 에피폴라 기하학을 형성하여 에피폴라 평면 선분과 해당 대응점 사이의 거리 오차를 계산한다(S510). 오차 계산은 [수학식 4]를 이용한다.
상술한 S507 과정 내지 S510 과정을 반복 수행하여, 거리 오차가 최소인 기본행렬을 선택한다(S511).
[ 실 험 예 ]
상술한 기술적 사상에 대한 모의실험을 위해 펜티엄IV 1.4GHz, 256M DDR 사양의 IBM-PC를 이용한다. 본 실험예에서는 최적의 기본행렬에 대해서 에피폴라 평면 선분을 도시하는 것과 그에 해당하는 거리 오차들의 평균을 수치적으로 제시한다. 아울러 본 실험과의 성능비교를 위해 일반적으로 많이 사용되는 RANSAC 방법을 적용한 결과를 제시한다.
첨부도면 도 6a는 '건물' 영상에 대해 본 발명에 따른 방법과 RANSAC 방법에 의한 결과 영상을 보이고 있고, 도 6b는 양자 방법에 의한 처리 결과를 표로서 정리하고 있다. 또한, 도 7a는 '캐슬' 영상에 대해 본 발명에 따른 방법과 RANSAC 방 법에 의한 결과 영상을 보이고 있으며, 도 7b는 양자 방법에 의한 처리 결과를 표로서 정리하고 있다.
결과적으로 본 발명이 제시한 방법은 종래의 RANSAC 방법보다 잘못된 대응 후보점들이 제어되었음에도 불구하고 최종적으로 구해진 대응점의 수가 더 많고, 거리 오차도 작아졌다는 것을 알 수 있다.
상기와 같은 본 발명에 따르면, 종래에 비해 정확도가 높은 최적의 기본행렬을 추정할 수 있는 특유의 효과가 있다. 따라서 다중영상 생성, 카메라 교정, 스테레오 영상으로부터의 3차원 영상 재구성과 같은 다양한 분야에서 신뢰도를 높일 수 있는 주요 기술적 요인으로 작용할 것이다.
이상으로 본 발명의 기술적 사상을 예시하기 위한 바람직한 실시예와 관련하여 설명하고 도시하였지만, 본 발명은 이와 같이 도시되고 설명된 그대로의 구성 및 작용에만 국한되는 것이 아니며, 기술적 사상의 범주를 일탈함이 없이 본 발명에 대해 다수의 변경 및 수정이 가능함을 당업자들은 잘 이해할 수 있을 것이다. 따라서, 그러한 모든 적절한 변경 및 수정과 균등물들도 본 발명의 범위에 속하는 것으로 간주되어야 할 것이다.

Claims (9)

  1. 비교정된 좌우 영상으로부터 기본행렬을 추정하는 장치로서,
    상기 영상에 대해 밝기의 변화량을 측정하여 특징점을 추출하는 특징점 추출수단;
    상기 특징점들로부터 상관함수에 따른 상관도(score)가 소정 범위를 만족하는 후보점을 선택하는 후보점 선택수단;
    각 영상을 4등분 분할하여 각 영역 내의 후보점들에 대한 움직임 벡터의 미디언 벡터를 산출하고, 상기 미디언 벡터의 크기와 방향에 대한 소정 임계값을 벗어나는 후보점들을 제거하는 후보점 선별수단; 및
    각 영상을 8×8 영역으로 구획하여, 구획된 영역 중 8개의 영역을 선택한 후, 선택된 각 영역 내에서 하나의 대응점을 임의로 추출하여 총 8쌍의 대응점을 선택하고, 선택된 대응점으로부터 기본행렬을 계산하되, 계산된 기본행렬에 대해 에피폴라 기하학을 형성하여 에피폴라 평면 선분과 해당 대응점 간의 거리 오차가 최소인 기본행렬을 선택하는 기본행렬 선택수단; 을 포함하는 것을 특징으로 하는 강건한 대응점을 이용한 기본행렬 추정 장치.
  2. 청구항 1에 있어서,
    상기 특징점 추출수단은,
    Harris 모서리 탐색 방법을 이용하여 특징점을 추출하는 것을 특징으로 하는 강건한 대응점을 이용한 기본행렬 추정 장치.
  3. 청구항 1에 있어서,
    상기 상관도는 아래의 수학식에 의해 산출되는 것을 특징으로 하는 강건한 대응점을 이용한 기본행렬 추정 장치.
    [수학식]
    Figure 112006046975810-pat00055
    여기서,
    Figure 112006046975810-pat00056
    ,
    Figure 112006046975810-pat00057
    단,
    Figure 112006046975810-pat00058
    는 점 (
    Figure 112006046975810-pat00059
    ,
    Figure 112006046975810-pat00060
    )에서의 평균을 나타내며,
    Figure 112006046975810-pat00061
    는 (
    Figure 112006046975810-pat00062
    ,
    Figure 112006046975810-pat00063
    )의 이웃하는
    Figure 112006046975810-pat00064
    에서 영상
    Figure 112006046975810-pat00065
    의 표준 편차를 나타내고,
    Figure 112006046975810-pat00066
    와
    Figure 112006046975810-pat00067
    는 각각 좌우 영상의 해당 화소 값을 나타내고,
    Figure 112006046975810-pat00068
    과
    Figure 112006046975810-pat00069
    은 상관관계를 계산하는 영역의 크기를 의미함.
  4. 청구항 1에 있어서,
    상기 상관도의 범위는 0.8 이상 1이하인 것을 특징으로 하는 강건한 대응점 을 이용한 기본행렬 추정 장치.
  5. 청구항 1에 있어서,
    상기 후보점 선별수단은 아래의 두 가지 조건식을 만족할 경우 후보점을 제거하는 것을 특징으로 하는 강건한 대응점을 이용한 기본행렬 추정 장치.
    [조건식]
    ①
    Figure 112006046975810-pat00070
    > 크기 임계값
    ②
    Figure 112006046975810-pat00071
    > 방향 임계값
    단,
    Figure 112006046975810-pat00072
    는 미디언 벡터이고,
    Figure 112006046975810-pat00073
    는 후보점의 움직임 벡터임.
  6. 비교정된 좌우 영상으로부터 기본행렬을 추정하는 방법으로서,
    상기 영상에 대해 밝기의 변화량을 측정하여 특징점을 추출하는 제1 과정;
    상기 추출된 특징점들로부터 상관함수에 따른 상관도가 소정 범위를 만족하는 후보점을 선택하는 제2 과정;
    영상 각각을 4등분 분할하여 각 영역 내의 후보점들에 대한 움직임 벡터의 미디언 벡터를 산출하고, 상기 미디언 벡터의 크기와 방향에 대한 소정 임계값을 벗어나는 후보점들을 제거하는 제3 과정;
    각 영상을 8×8 영역으로 구획하여, 구획된 영역 중 8개의 영역을 선택한 후, 선택된 각 영역 내에서 하나의 대응점을 임의로 추출하여 총 8쌍의 대응점을 선택하고, 선택된 대응점으로부터 기본행렬을 계산하는 제4 과정;
    계산된 기본행렬에 대해 에피폴라 기하학을 형성하여 에피폴라 평면 선분과 해당 대응점 간의 거리 오차를 계산하는 제5 과정; 및
    상기 제4 과정 및 제5 과정을 반복 수행하여, 거리 오차가 최소인 기본행렬을 선택하는 제6 과정; 을 포함하는 것을 특징으로 하는 강건한 대응점을 이용한 기본행렬 추정 방법.
  7. 청구항 6에 있어서,
    상기 제1 과정의 특징점 추출은,
    Harris 모서리 탐색 방법을 이용하는 것을 특징으로 하는 강건한 대응점을 이용한 기본행렬 추정 방법.
  8. 청구항 6에 있어서,
    상기 상관도(score)는 아래의 수학식에 의해 산출되는 것을 특징으로 하는 강건한 대응점을 이용한 기본행렬 추정 방법.
    [수학식]
    Figure 112006046975810-pat00074
    여기서,
    Figure 112006046975810-pat00075
    ,
    Figure 112006046975810-pat00076
    단,
    Figure 112006046975810-pat00077
    는 점 (
    Figure 112006046975810-pat00078
    ,
    Figure 112006046975810-pat00079
    )에서의 평균을 나타내며,
    Figure 112006046975810-pat00080
    는 (
    Figure 112006046975810-pat00081
    ,
    Figure 112006046975810-pat00082
    )의 이웃하는
    Figure 112006046975810-pat00083
    에서 영상
    Figure 112006046975810-pat00084
    의 표준 편차를 나타내고,
    Figure 112006046975810-pat00085
    와
    Figure 112006046975810-pat00086
    는 각각 좌우 영상의 해당 화소 값을 나타내고,
    Figure 112006046975810-pat00087
    과
    Figure 112006046975810-pat00088
    은 상관관계를 계산하는 영역의 크기를 의미함.
  9. 청구항 6에 있어서,
    제3 과정은, 아래의 두 가지 조건식을 만족할 경우 후보점을 제거하는 것을 특징으로 하는 강건한 대응점을 이용한 기본행렬 추정 방법.
    [조건식]
    ①
    Figure 112006046975810-pat00089
    > 크기 임계값
    ②
    Figure 112006046975810-pat00090
    > 방향 임계값
    단,
    Figure 112006046975810-pat00091
    는 미디언 벡터이고,
    Figure 112006046975810-pat00092
    는 후보점의 움직임 벡터임.
KR1020060060145A 2006-06-30 2006-06-30 강건한 대응점을 이용한 기본행렬 추정 장치 및 그 방법 KR100792172B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020060060145A KR100792172B1 (ko) 2006-06-30 2006-06-30 강건한 대응점을 이용한 기본행렬 추정 장치 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020060060145A KR100792172B1 (ko) 2006-06-30 2006-06-30 강건한 대응점을 이용한 기본행렬 추정 장치 및 그 방법

Publications (2)

Publication Number Publication Date
KR20080001794A KR20080001794A (ko) 2008-01-04
KR100792172B1 true KR100792172B1 (ko) 2008-01-07

Family

ID=39213688

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020060060145A KR100792172B1 (ko) 2006-06-30 2006-06-30 강건한 대응점을 이용한 기본행렬 추정 장치 및 그 방법

Country Status (1)

Country Link
KR (1) KR100792172B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104240289A (zh) * 2014-07-16 2014-12-24 崔岩 一种基于单个相机的三维数字化重建方法及系统
CN105389819A (zh) * 2015-11-13 2016-03-09 武汉工程大学 一种鲁棒的半标定下视图像极线校正方法及系统

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101154436B1 (ko) * 2010-09-10 2012-06-15 성균관대학교산학협력단 콘텍스트 교차에 근거한 라인 매칭 방법
EP3144889A1 (en) 2015-09-17 2017-03-22 Thomson Licensing Method and system for calibrating an image acquisition device and corresponding computer program product
KR101692168B1 (ko) * 2015-12-21 2017-01-03 연세대학교 산학협력단 이종 스테레오 영상 간 매칭 장치 및 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010075948A (ko) * 2000-01-21 2001-08-11 오길록 영상 특징점 매칭을 이용한 변환 행렬 추정 장치 및 그방법과 그를 이용한 모자이크 영상 생성 장치 및 그 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010075948A (ko) * 2000-01-21 2001-08-11 오길록 영상 특징점 매칭을 이용한 변환 행렬 추정 장치 및 그방법과 그를 이용한 모자이크 영상 생성 장치 및 그 방법

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104240289A (zh) * 2014-07-16 2014-12-24 崔岩 一种基于单个相机的三维数字化重建方法及系统
CN104240289B (zh) * 2014-07-16 2017-05-03 崔岩 一种基于单个相机的三维数字化重建方法及系统
CN105389819A (zh) * 2015-11-13 2016-03-09 武汉工程大学 一种鲁棒的半标定下视图像极线校正方法及系统

Also Published As

Publication number Publication date
KR20080001794A (ko) 2008-01-04

Similar Documents

Publication Publication Date Title
CN110310320B (zh) 一种双目视觉匹配代价聚合优化方法
CN108475433B (zh) 用于大规模确定rgbd相机姿势的方法和系统
US6671399B1 (en) Fast epipolar line adjustment of stereo pairs
US8452081B2 (en) Forming 3D models using multiple images
US8447099B2 (en) Forming 3D models using two images
CN103218799B (zh) 用于相机跟踪的方法和设备
Rashidi et al. Innovative stereo vision-based approach to generate dense depth map of transportation infrastructure
CN107862735B (zh) 一种基于结构信息的rgbd三维场景重建方法
JP2011174880A (ja) 位置姿勢推定方法及びその装置
DeGol et al. Improved structure from motion using fiducial marker matching
CN107657644A (zh) 一种移动环境下稀疏场景流检测方法和装置
CN113393524B (zh) 一种结合深度学习和轮廓点云重建的目标位姿估计方法
JP6172432B2 (ja) 被写体識別装置、被写体識別方法および被写体識別プログラム
KR100792172B1 (ko) 강건한 대응점을 이용한 기본행렬 추정 장치 및 그 방법
JP2006252275A (ja) カメラ運動及び物体形状の復元システム
CN111914913B (zh) 一种新型立体匹配优化方法
JPH0991436A (ja) 画像処理方法及びその装置
JP2008224641A (ja) カメラ姿勢推定システム
KR101673144B1 (ko) 부분 선형화 기반의 3차원 영상 정합 방법
Verma et al. Vision based object follower automated guided vehicle using compressive tracking and stereo-vision
CN114199205B (zh) 基于改进四叉树orb算法的双目测距方法
CN112991372B (zh) 一种基于多边形匹配的2d-3d相机外参标定方法
KR20170001448A (ko) 스테레오 카메라를 이용한 카메라 위치 측정 장치 및 방법
CN116721109B (zh) 一种双目视觉图像半全局匹配方法
Pedersini et al. Multi-camera parameter tracking

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20121011

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20131129

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20151028

Year of fee payment: 9

LAPS Lapse due to unpaid annual fee