KR20110114250A - 상위 스캔라인의 양안차를 이용한 트렐리스 기반 스테레오 정합 시스템 - Google Patents

상위 스캔라인의 양안차를 이용한 트렐리스 기반 스테레오 정합 시스템 Download PDF

Info

Publication number
KR20110114250A
KR20110114250A KR1020100033795A KR20100033795A KR20110114250A KR 20110114250 A KR20110114250 A KR 20110114250A KR 1020100033795 A KR1020100033795 A KR 1020100033795A KR 20100033795 A KR20100033795 A KR 20100033795A KR 20110114250 A KR20110114250 A KR 20110114250A
Authority
KR
South Korea
Prior art keywords
scan line
binocular difference
trellis
stereo matching
image
Prior art date
Application number
KR1020100033795A
Other languages
English (en)
Inventor
전병찬
이준석
정홍
Original Assignee
(주) 에투시스템
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주) 에투시스템 filed Critical (주) 에투시스템
Priority to KR1020100033795A priority Critical patent/KR20110114250A/ko
Publication of KR20110114250A publication Critical patent/KR20110114250A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0096—Synchronisation or controlling aspects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00—Details of stereoscopic systems
    • H04N2213/001—Constructional or mechanical details

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

본 발명은 상위 스캔라인의 양안차를 이용한 트렐리스 기반 스테레오 정합 시스템에 관한 것으로서, 대상 물체를 촬영하여 제1 및 제2 영상 신호를 각각 생성하는 제1 및 제2 카메라; 및 상기 제1 및 제2 카메라로부터 생성된 제1 및 제2 영상 신호의 한 스캔 라인의 픽셀쌍과 이전 스캔 라인에서 계산한 양안차로부터 소정의 정합 코스트를 계산하고 최소의 정합 코스트를 결정하는 결정값을 추적하여 해당 결정값을 양안차 추정치로 출력하는 영상 정합부를 포함하는 상위 스캔라인의 양안차를 이용한 트렐리스 기반 스테레오 정합 시스템을 제공한다. 본 발명에 의하면, 이전 단계에서 계산된 상위 스캔라인의 양안차(disparity)를 이용함으로써 스트라이프 노이즈를 현저하게 줄일 수 있는 스테레오 정합 시스템을 제공할 수 있다.

Description

상위 스캔라인의 양안차를 이용한 트렐리스 기반 스테레오 정합 시스템{STEREO MATCHING SYSTEM BASED ON TRELLIS USING THE DISPARITY OF THE UPPER SCAN LINE}
본 발명은 스테레오 정합 시스템에 관한 것으로서, 보다 상세하게는 상위 스캔라인의 양안차를 이용한 트렐리스 기반 스테레오 정합 시스템에 관한 것이다.
한 장의 영상은 3차원 공간을 2차원 평면으로 투사시킨 것으로 이 과정에서 거리 정보(depth)를 잃어버리게 되고 역으로 한 장의 영상으로부터 3차원 공간을 복원하는 것은 불가능하다. 그러나 인간과 같이 하나의 사물에 대해 서로 다른 위치의 카메라로부터 얻은 영상을 사용할 수 있을 때에는 거리 정보를 얻을 수 있다. 이러한 과정은 각각의 영상으로부터 대응점을 찾는 과정으로 귀결되며 이러한 과정을 스테레오 정합(stereo matching)이라 하는데 이는 매우 어려운 과정이다. 스테레오 정합 과정에서 가능한 솔루션의 수가 너무 많기 때문에 계산이 너무 복잡하다는 문제가 발생하는 것이다. 스테레오 정합을 유용하게 사용하기 위해서는 솔루션의 범위를 제한할 필요가 있다. 솔루션의 범위를 제한하는 다양한 방법 중에서 가장 많이 사용되는 것은 두 종류로 구분할 수 있다. 첫 번째 범주는 실제 공간에서의 거리에 대해 우리가 이미 알고 있는 확률분포를 이용하는 것으로 대표적으로 Markov Random Field (MRF) 모델이 있다. 이러한 모델에서 최적 거리 정보를 얻기 위해서는 Belief Propagation이나 Graph Cut과 같은 최적화 기법이 사용된다. 이러한 방법은 상당히 좋은 결과를 얻을 수 있는 반면에 계산량이 많다는 단점이 있다. 두 번째 범주는 스테레오 영상의 기하학적인 구조에 제한을 둠으로써 물체 표면의 모델을 간단한 확률 모델로 만들어준다. 이러한 모델에서는 Dynamic Progr- amming (DP) 기반의 알고리즘을 통해 최적 거리 정보를 계산하게 된다. 첫 번째 범주에 비해 결과가 좋지 못하지만 계산이 간단하여 로봇과 같은 실시간 스테레오 비전에 적용할 수 있다는 장점이 있다.
스테레오 정합 알고리즘을 하드웨어를 이용해 구현할 경우 위험도도 크고 검증에 시간이 걸리는 단점이 있지만 빠른 속도의 병렬 처리가 가능해 실시간 시스템 구현이 가능하다. 두 번째 범주에 속하는 알고리즘으로 트렐리스(Trellis) 기반의 스테레오 정합 알고리즘은 이와 같이 병렬 처리가 가능한 하드웨어로 구현이 가능하다. 하지만 이 알고리즘은 하나의 스캔 라인에서만 정합을 수행하여 스트라이프 노이즈(stripe noise)가 많이 발생한다는 단점이 있다.
본 발명은 상기한 바와 같은 단점을 해결하기 위한 것으로서, 이전 단계에서 계산된 상위 스캔라인의 양안차(disparity)를 이용함으로써 스트라이프 노이즈를 현저하게 줄일 수 있는 스테레오 정합 시스템을 제공하는 것을 목적으로 한다.
상기한 바와 같은 과제를 해결하기 위하여 본 발명은, 상위 스캔라인의 양안차를 이용한 트렐리스 기반 스테레오 정합 시스템에 있어서, 대상 물체를 촬영하여 제1 및 제2 영상 신호를 각각 생성하는 제1 및 제2 카메라; 및 상기 제1 및 제2 카메라로부터 생성된 제1 및 제2 영상 신호의 한 스캔 라인의 픽셀쌍과 이전 스캔 라인에서 계산한 양안차로부터 소정의 정합 코스트를 계산하고 최소의 정합 코스트를 결정하는 결정값을 추적하여 해당 결정값을 양안차 추정치로 출력하는 영상 정합부를 포함하는 상위 스캔라인의 양안차를 이용한 트렐리스 기반 스테레오 정합 시스템을 제공한다.
여기에서, 상기 영상 정합부는, 현재의 스캔 라인과 이전 스캔 라인의 픽셀 사이에 유사도가 존재하는 경우 이전 스캔 라인의 양안차를 이용하여 현재 스캔라인에서의 소정의 정합 코스트를 계산할 수 있다.
또한, 상기 영상 정합부는 오클루젼 정보를 포함하여 양안차 추정치를 결정할 수 있다.
또한, 상기 영상 정합부는 정합 코스트 계산부를 더 포함할 수 있다.
본 발명에 의하면, 이전 단계에서 계산된 상위 스캔라인의 양안차(disparity)를 이용함으로써 스트라이프 노이즈를 현저하게 줄일 수 있는 스테레오 정합 시스템을 제공할 수 있다.
도 1은 본 발명에 의한 상위 스캔라인의 양안차를 이용한 트렐리스 기반 스테레오 정합 시스템의 전체적인 구성 및 연결 관계를 나타낸 도면이다.
도 2 내지 도 10은 종래 기술에 의한 스테레오 정합 시스템을 설명하기 위한 도면이다.
도 11 내지 도 13은 본 발명에 의한 상위 스캔라인의 양안차를 이용한 트렐리스 기반 스테레오 정합 시스템의 동작을 설명하기 위한 도면이다.
이하, 첨부 도면을 참조하여 본 발명에 의한 실시예를 상세하게 설명한다.
도 1은 본 발명에 의한 상위 스캔라인의 양안차를 이용한 트렐리스 기반 스테레오 정합 시스템의 전체적인 구성 및 연결 관계를 나타낸 도면이다.
도 1을 참조하면, 본 실시예의 상위 스캔라인의 양안차를 이용한 트렐리스 기반 스테레오 정합 시스템(이하, 본 시스템이라 한다,100)은 2개의 카메라 즉, 제1 카메라 및 제2 카메라(10,20)와 영상 정합부(30)를 포함한다.
영상 정합부(30)는 제1 및 제2 카메라(10,20)로부터 수신되는 각각의 영상 신호에 기초하여 양안차 추정치를 결정하여 출력한다. 즉, 상기 제1 및 제2 카메라로부터 생성된 제1 및 제2 영상 신호의 한 스캔 라인의 픽셀쌍과 이전 스캔 라인에서 계산한 양안차로부터 소정의 정합 코스트를 계산하고 최소의 정합 코스트를 결정하는 결정값을 추적하여 해당 결정값을 양안차 추정치로 출력한다. 출력되는 양안차 추정치는 다른 영상 처리 장치로 입력되어 카메라(10,20)에 의해 촬영된 대상 물체의 거리를 계산하는 등의 후처리 과정을 수행하도록 할 수도 있고, 양안차 추정치를 감안한 영상을 구성하여 디스플레이하도록 하는 등의 작업을 수행할 수도 있다.
제1 및 제2 카메라(10,20)는 서로 동일한 평면상에 촛점을 가지며 각각의 광축은 서로 평행하며, 이들은 각각 동일한 대상 물체를 촬영하여 영상 신호를 구성하고 이를 영상 정합부(30)로 전송한다.
영상 정합부(30)은 제1 및 제2 카메라(10,20)로부터 수신되는 각각의 영상 신호에 기초하여 이하에서 설명하는 상위 스캔라인의 양안차를 이용하여 트렐리스 기반 스테레오 정합 시스템을 구현하도록 동작한다. 이러한 영상 정합부(30)의 구체적인 동작을 도 2 이하를 참조하여 설명한다.
우선, 본 발명에 의한 영상 정합부(30)의 동작을 설명하기에 앞서 종래 기술에 의한 스테레오 정합 시스템의 기본적인 원리에 대해서 설명한다.
한 장의 영상은 3차원 공간을 2차원 평면에 투사한 것으로 이 과정에서 거리 정보가 사라지게 된다. 도 2는 이러한 과정을 나타내며 하나의 영상으로부터 3차원 공간을 복원하는 것은 불가능하다. 하지만 사람은 시야가 겹치는 두 개의 영상을 이용하여 거리 정보를 무의식적으로 인식할 수 있다. 도 3은 3차원 공간상의 한 점이 좌우 눈의 망막에 맺히는 방법을 간단히 나타낸 것이다. 공간상의 한 점은 좌우 망막의 서로 다른 위치에 맺히게 되며 이 양안차를 이용하여 거리를 인식하게 되는 것이다. 이러한 원리를 이용하면 서로 다른 위치의 두 카메라로부터 얻은 영상을 이용하여 거리 정보를 추출할 수 있다.
도 4는 서로 다른 위치의 카메라를 이용하여 하나의 물체에 대한 영상을 얻었을 때 좌우 영상에 물체가 어떻게 맺히는지 나타낸 그림이다. 도 4의 구조를 하나의 스캔라인에 대해 나타내면 도 5와 같다. 도 5에서는 다음과 같은 가정이 전제가 된다. 첫째 좌우 영상의 epipolar line은 동일하다. 둘째 좌우 영상은 동일한 평면에 위치한다. 셋째 좌우 카메라의 광축은 평행하다. 마지막으로 좌우 카메라의 focal length는 같다. 이러한 가정을 만족한다면 하나의 대응점을 영상 전체에서 찾는 대신 동일한 스캔에서 찾을 수 있기 때문에 스테레오 정합을 상당히 간단하게 할 수 있다. 도 5에서 F는 좌우 카메라의 focal length, B는 baseline으로 좌우 카메라 사이의 거리를 나타내며 d는 좌우 대응점 사이의 양안차(disparity)를 나타내며 Z는 공간상의 점 P(X,Y,Z)까지의 거리를 나타낸다. f와 B는 상수값이기 때문에 대응점을 찾아 양안차(disparity)를 알게 된다면 하기 수식 1을 통해 거리 정보를 구할 수 있게 된다.
[수식 1]
Figure pat00001
도 5는 공간상의 하나의 점에 대한 기하학적 구조를 나타낸 것으로 정합이 발생할 수 있는 공간상의 다수의 점으로 확장하면 도 6과 같다. 각각의 좌우 스캔라인은 수식 2와 같이 N개의 픽셀로 나타낼 수 있다.
[수식 2]
Figure pat00002
도 6에서 검은 노드(node)는 매치 노드(match node)로써 좌우 영상의 대응점으로부터의 프로젝션 라인(projection line)이 만나는 점에 형성된다. 즉 공간상에 물체가 존재할 때 물체의 표면은 매치 노드(match node)를 연결한 선과 일치하게 된다. 하지만 공간상의 모든 점이 좌우 영상에 대응점을 갖는 것은 아니다. 하나의 카메라에서는 보이지만 다른 카메라에서는 보이지 않는 공간상의 점이 존재하는 경우도 있다. 이러한 현상을 오클루젼(occlusion)이라 한다. 왼쪽 영상에는 나타나지만 오른쪽 영상에는 나타나지 않을 경우 right occlusion이라고 하며 그 반대의 경우 left occlusion이라고 한다. 이러한 오클루젼은 정확한 스테레오 정합을 수행하는데 가장 어려운 문제 중 하나이며 도 6과 같은 구조에서는 occlusion을 고려하여 스테레오 정합을 수행하는데 한계가 있다.
도 7은 center-referenced disparity 구조를 나타낸다. 도 6과 비교해서 달라진 점은 좌우 카메라의 focal point의 중간에 focal point를 갖고 focal length가 좌우 카메라의 두 배인 center- referenced projection이 추가된 것이다. 또한 새로운 projection line에 의해 하얀 노드(node)가 생성되었는데 이러한 노드(node)를 occlusion node라 한다. 도 6에서는 스테레오 정합을 수행하는데 있어 occlusion에 대한 고려를 할 수 없지만 occlusion node를 추가함으로써 도 7에서는 occlusion에 대한 고려를 할 수 있다. 이후에 스테레오 정합에 대한 설명을 함에 있어 도 7의 구조를 기본으로 한다. 도 7에서 center-referenced disparity vector를 정의할 수 있다.
Figure pat00003
도 7을 보다 보기 쉽게 Trellis 구조로 변환한 것이 도 8이다. 도 8에서 disparity 값(di)과 인덱스(i) 간의 관계를 확인하기 위해 Boolean odd function 를 다음과 같이 정의한다.
Figure pat00004
di가 match node를 나타낼 경우는 홀수가 되며 occlusion node의 경우 짝수가 된다. 즉, 다음의 관계가 성립한다.
Figure pat00005
도 8은 다음과 같은 제한을 고려한 것이다. 우선 좌우 카메라의 광축이 평행하기 때문에 disparity는 항상 0보다 크거나 같아야 한다. 둘째로 trellis의 시작과 끝의 disparity 값은 0으로 가정한다. 셋째로 disparity의 변화량을 ±1로 제한한다. 마지막으로 match node는 이전 스테이지의 같은 레벨에서 경로가 들어와 다음 스테이지의 같은 레벨로 나간다. 이러한 제한 사항을 식으로 정리하면 다음과 같다.
Figure pat00006
다음으로, 최적 양안차 추정에 대해 설명한다. 이하에서는, 스테레오 정합을 maximum a posteriori (MAP) estimation으로 정의하고 앞서의 constraint들을 이용하여 에너지 함수로 유도하도록 한다. 카메라를 통해 additive white Gaussian noise (AWGN)가 더해져 들어온 영상을 이라고 했을 때 양안차의 추정값은 다음과 같다.
[수식 3]
Figure pat00007
[수식 4]
Figure pat00008
수식 4는 수식 3에 Bayes rule을 적용한 후 상수값을 제거한 결과이다. 에너지 함수를 확률에 음의 로그를 취한 값으로 정의하면 수식 4는 다음의 수식 5와 동일하다.
[수식 5]
Figure pat00009
여기서 에너지 함수는 다음과 같다.
Figure pat00010
이후의 계산 과정을 간단하게 나타나기 위해 다음과 같은 notation을 정의한다.
Figure pat00011
AWGN이 각각 독립적이고 같은 확률 분포를 갖는다고 가정하면 다음과 같은 식으로 나타낼 수 있다.
Figure pat00012
여기서 σ2은 noise의 분산을 나타낸다.
위의 식을 전체 disparity vector에 대해 확장하여 나타내면 다음과 같다.
Figure pat00013
위의 식을 에너지 함수로 나타내기 위해 음의 로그를 취하면 다음과 같다.
[수식 6]
Figure pat00014
앞 절에서의 내용을 바탕으로 다음의 사실을 이용할 수 있다. 첫째 di≠di -1이면 occlusion이 발생한다. 둘째 occlusion이 두 번 발생할 때마다 matching의 수는 한 번이 줄어든다. 셋째 matching이 발생할 수 있는 최대의 수는 N이다. 이 세 가지 사실을 하나의 식으로 나타내면 다음과 같다.
[수식 7]
Figure pat00015
수식 7을 수식 6에 대입하면 다음과 같다.
Figure pat00016
Figure pat00017
P(d)의 확률 분포는 여러 가지 방법을 사용할 수 있지만 계산의 용이성을 위하여 occlusion의 수에 기초한 비교적 간단한 이항(binomial) 확률 분포를 사용한다.
[수식 8]
Figure pat00018
여기서 , α=log(1-P0), β=logP0라고 하면 수식 8은 다음과 같이 나타낼 수 있다.
Figure pat00019
에너지 함수로 나타내기 위해 음의 로그를 취하면 다음과 같다.
Figure pat00020
이 식과
Figure pat00021
을 앞서의 수식
Figure pat00022
에 대입하면 다음과 같다.
[수식 9]
Figure pat00023
위의 식에서 -N(k+α)는 상수부분이기 때문에 제거한 후 정리하면 다음의 식과 같다.
Figure pat00024
수식 9의 대괄호 안의 첫 번째 항은 match node에서 발생하는 항이며 두 번째 항은 occlusion node에서 발생하는 항이다. 수식 9를 최소로 해주는 disparity vector를 찾는 것이 MAP estimation의 최종 목표이며 그 과정은 다음에서 설명하도록 한다.
최적의 양안차 경로 검색(optimal disparity path search) 과정은 다음과 같다. 최적의 양안차 경로(disparity path)는 trellis 상에서 에너지 함수를 최소로 해주며 최적 경로는 Dynamic Programming (DP) 기법의 일환인 Viterbi 알고리즘을 사용한다. Viterbi 알고리즘은 현재 스테이지까지의 코스트는 이전 스테이지까지의 코스트와 각 경로에서 새로 더해진 코스트의 합이 최소가 되는 경로를 최적 경로로 결정한다. 각 스테이지에서 node는 크게 match node와 occlusion node로 나누어진다. 두 종류의 노드는 경로와 코스트를 계산하는 방법이 다르므로 서로 나누어 고려를 한다. 도 9는 i번째 스테이지에서 occlusion node와 match node의 경로를 나타낸다.
Occlusion node는 이전 스테이지의 같은 레벨과 상하 레벨에서 경로가 형성되며 match node는 같은 레벨에서만 경로가 형성된다. 수식 9와 도 9를 이용하면 다음과 같이 알고리즘을 정리할 수 있다.
1. Forward Initialization: At site i=0, all node costs are set to infinity except for disparity d=0
Figure pat00025
2. Forward Iteration: At each step i=1,...2N. , find the best path and best cost into each node or disparity j.
(a) i+j even (occlusion node)
Figure pat00026
(b) i+j odd (match node)
Figure pat00027
3. Backward Initialization: i=2N and j=0.
Figure pat00028
4. Backward Path Reconstruction: Find the optimal disparity path by tracing back the decisions.
Figure pat00029
도 10은 지금까지 설명한 알고리즘의 실험 결과를 나타낸다. 결과를 보면 수평 방향으로 stripe noise가 매우 심한 것을 알 수 있다. 이와 같은 결과는 단일 스캔라인에서 정합을 수행하였기 때문에 나타나는 현상이다. 다음으로 본 발명에 의하여 상위 스캔라인에서 계산된 양안차를 이용함으로써 stripe noise를 개선하는 방법에 대하여 설명한다.
도 11은 본 발명에 의하여 영상 정합부(30)가 상위 스캔라인에서 계산된 양안차를 이용함으로써 stripe noise를 개선하는 방법을 설명하기 위한 도면이다. 도 11을 참조하면, 영상에서 인접한 픽셀이 동일한 값을 가질 때 하나의 물체를 나타낼 확률이 크며 하나의 물체를 나타내는 픽셀의 양안차는 거의 동일하다. 즉 인접한 픽셀이 동일한 픽셀 값을 갖는 경우 두 픽셀 사이의 양안차는 같아야 한다. 이러한 가정을 바탕으로 기존의 알고리즘을 수정할 수 있다. k번째 스캔라인에 대한 스테레오 정합을 수행할 때 기존에 계산한 k-1번째 스캔라인의 양안차를 이용하는 알고리즘을 제안한다. k번째 스캔라인의 i번째 픽셀이 k-1번째 스캔라인의 i번째 픽셀과 동일한 값을 가질 때 두 픽셀의 양안차가 갖도록 한다. 이를 위하여 기존 방식을 다음과 같이 수정한다.
우선, 좌우 영상의 k번째 스캔라인은 다음과 같이 나타낸다.
Figure pat00030
상기 수식에 AWGN이 더해진 결과는 다음과 같이 나타낸다.
Figure pat00031
k번째 스캔라인의 center-referenced disparity vector는 다음과 같이 나타낸다.
Figure pat00032
도 12의 (a)는 occlusion node에서 변경된 내용을 나타낸다. k번째 스캔라인의 (i,j) occlusion node의 코스트를 계산할 때 상위 스캔라인의 픽셀과 비교를 한다. 하지만 occlusion node는 대응하는 픽셀이 없기 때문에 이전 스테이지의 (i-1,j) match node에 대응하는 픽셀을 상위 스캔라인과 비교한다. 비교한 결과 픽셀 값이 같으면 상위 스캔라인의 양안차와 같은 경로의 코스트를 감소시킨다. Occlusion node의 경우 들어오는 경로는 세 가지 경우가 있으며 occlusion node에서의 코스트를 계산하는 식은 다음과 같이 수정된다.
Figure pat00033
여기서 δ(x)는 Dirac-delta function을 나타내며 λ는 임의의 양수이다.
도 12의 (b)는 match node에서 변경된 내용을 나타내며 앞절과 같은 과정을 통해 match node에서의 코스트를 계산하는 식은 다음과 같이 수정된다.
Figure pat00034
여기서 φ는 임의의 양수이다.
상기 수식의 우변의 두 번째 항에서 k번째 스캔라인의 좌우 픽셀의 차이의 제곱 대신에 k-1,k+1번째 스캔라인을 포함한 평균을 사용할 수 있다. 이러한 방법은 수평 방향의 stripe noise를 수직 방향으로 평균을 취하여 noise의 영향을 줄이는 효과가 있다. 이러한 평균값을 Average of Squared Difference (ASD)라 칭하고 다음의 식을 사용한다.
Figure pat00035
이와 같이 수정된 내용을 반영한 알고리즘을 정리하면 다음과 같다.
1. Forward Initialization: At site i=0, all node costs are set to infinity except for disparity d=0
Figure pat00036
2. Forward Iteration: At each step or site i=1,....2N, find the best path and best cost into each disparity j.
(a) i+j even (occlusion node):
Figure pat00037
(b) i+j odd (match node):
Figure pat00038
3. Backward Initialization: i=2N and j=0.
Figure pat00039
4. Backward Path Reconstruction: Find the optimal disparity path by tracing back the decisions.
Figure pat00040
도 13은 본 발명에 의한 방법과 기존 방법을 실제 수행한 결과를 비교한 도면이다. 도 13을 참조하면, 본 발명에 의한 방법이 기존 방법에 비하여 스트라이프 노이즈가 현저하게 개선된 것을 확인할 수 있다. 이와 같이, 기존의 알고리즘이 단일 스캔라인 상에서 정합을 실시하여 사용가능한 정보 중 극히 일부분만을 사용하지만, 본 발명은 정합을 하는 과정에서 상위 스캔라인에서 계산된 양안차를 이용하는 방법을 고려하여 현재의 스캔라인과 상위 스캔라인의 픽셀 사이에 유사도를 확인하여 유사할 경우 상위 스캔라인의 양안차를 이용하여 현재 스캔라인에서의 코스트를 계산할 때 정확도를 높일 수 있음을 알 수 있다.
10...제1 카메라,
20...제2 카메라,
30...영상 정합부.

Claims (4)

  1. 상위 스캔라인의 양안차를 이용한 트렐리스 기반 스테레오 정합 시스템에 있어서,
    대상 물체를 촬영하여 제1 및 제2 영상 신호를 각각 생성하는 제1 및 제2 카메라; 및
    상기 제1 및 제2 카메라로부터 생성된 제1 및 제2 영상 신호의 한 스캔 라인의 픽셀쌍과 이전 스캔 라인에서 계산한 양안차로부터 소정의 정합 코스트를 계산하고 최소의 정합 코스트를 결정하는 결정값을 추적하여 해당 결정값을 양안차 추정치로 출력하는 영상 정합부
    를 포함하는 상위 스캔라인의 양안차를 이용한 트렐리스 기반 스테레오 정합 시스템.
  2. 제1항에 있어서,
    상기 영상 정합부는, 현재의 스캔 라인과 이전 스캔 라인의 픽셀 사이에 유사도가 존재하는 경우 이전 스캔 라인의 양안차를 이용하여 현재 스캔라인에서의 소정의 정합 코스트를 계산하는 것을 특징으로 하는 상위 스캔라인의 양안차를 이용한 트렐리스 기반 스테레오 정합 시스템.
  3. 제1항에 있어서,
    상기 영상 정합부는 오클루젼 정보를 포함하여 양안차 추정치를 결정하는 것을 특징으로 하는 상위 스캔라인의 양안차를 이용한 트렐리스 기반 스테레오 정합 시스템.
  4. 제1항에 있어서,
    상기 영상 정합부는 정합 코스트 계산부를 더 포함하는 것을 특징으로 하는 상위 스캔라인의 양안차를 이용한 트렐리스 기반 스테레오 정합 시스템.
KR1020100033795A 2010-04-13 2010-04-13 상위 스캔라인의 양안차를 이용한 트렐리스 기반 스테레오 정합 시스템 KR20110114250A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100033795A KR20110114250A (ko) 2010-04-13 2010-04-13 상위 스캔라인의 양안차를 이용한 트렐리스 기반 스테레오 정합 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100033795A KR20110114250A (ko) 2010-04-13 2010-04-13 상위 스캔라인의 양안차를 이용한 트렐리스 기반 스테레오 정합 시스템

Publications (1)

Publication Number Publication Date
KR20110114250A true KR20110114250A (ko) 2011-10-19

Family

ID=45029372

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100033795A KR20110114250A (ko) 2010-04-13 2010-04-13 상위 스캔라인의 양안차를 이용한 트렐리스 기반 스테레오 정합 시스템

Country Status (1)

Country Link
KR (1) KR20110114250A (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140040407A (ko) * 2012-09-26 2014-04-03 엘지이노텍 주식회사 영상특성을 이용한 스테레오 매칭장치
CN103947197A (zh) * 2011-11-23 2014-07-23 Lg伊诺特有限公司 用于分层立体匹配的设备和方法
CN109743562A (zh) * 2019-01-10 2019-05-10 中国科学技术大学 基于Census算法的匹配代价计算电路结构及其工作方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103947197A (zh) * 2011-11-23 2014-07-23 Lg伊诺特有限公司 用于分层立体匹配的设备和方法
US9390507B2 (en) 2011-11-23 2016-07-12 Lg Innotek Co., Ltd. Apparatus and method for hierarchical stereo matching
CN103947197B (zh) * 2011-11-23 2017-03-08 Lg伊诺特有限公司 用于分层立体匹配的设备和方法
KR20140040407A (ko) * 2012-09-26 2014-04-03 엘지이노텍 주식회사 영상특성을 이용한 스테레오 매칭장치
CN109743562A (zh) * 2019-01-10 2019-05-10 中国科学技术大学 基于Census算法的匹配代价计算电路结构及其工作方法

Similar Documents

Publication Publication Date Title
KR101419979B1 (ko) 2ｄ 이미지 데이터를 스테레오스코픽 이미지 데이터로 변환하기 위한 방법 및 시스템
US8452081B2 (en) Forming 3D models using multiple images
JP5682065B2 (ja) ステレオ画像処理装置及びステレオ画像処理方法
US9361699B2 (en) Imaging system and method
US20120177283A1 (en) Forming 3d models using two images
US11170202B2 (en) Apparatus and method for performing 3D estimation based on locally determined 3D information hypotheses
US10529092B2 (en) Method for reducing matching error in disparity image by information in zoom image
CN111127522B (zh) 基于单目相机的深度光流预测方法、装置、设备及介质
CN111047634B (zh) 场景深度的确定方法、装置、设备及存储介质
WO2014093906A1 (en) Model based video projection
JP2016152027A (ja) 画像処理装置、画像処理方法およびプログラム
WO2013035457A1 (ja) 立体画像処理装置、立体画像処理方法、及びプログラム
US11348271B2 (en) Image processing device and three-dimensional measuring system
KR101027003B1 (ko) 스테레오 매칭 장치 및 그 방법
KR20110114250A (ko) 상위 스캔라인의 양안차를 이용한 트렐리스 기반 스테레오 정합 시스템
US9674503B2 (en) Stereo matching apparatus using image property
Psota et al. A local iterative refinement method for adaptive support-weight stereo matching
KR20150097251A (ko) 다중 영상간 대응점을 이용한 카메라 정렬 방법
WO2009099117A1 (ja) 平面パラメータ推定装置、平面パラメータ推定方法及び平面パラメータ推定プログラム
KR101852085B1 (ko) 깊이 정보 획득 장치 및 깊이 정보 획득 방법
KR20140000833A (ko) 스테레오 매칭 장치 및 그 방법
Kuschk et al. Real-time variational stereo reconstruction with applications to large-scale dense SLAM
KR20160077745A (ko) 스캔라인 기반의 양안차를 이용한 트렐리스 기반 스테레오 정합 방법
JP2013076621A (ja) 距離指標情報推定装置及びそのプログラム
KR101926498B1 (ko) 스테레오 영상 정합 장치 및 이의 정합 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application