KR100601958B1 - 3차원 객체 인식을 위한 양안차 추정 방법 - Google Patents

Abstract

3차원 객체 인식을 위한 양안차 추정 방법이 개시된다. 본 발명은 스테레오 이미지로부터 양안차를 추정하는 방법에 있어서 스테레오 이미지의 해상도를 각각 달리하여 복수 레벨의 이미지를 구하는 단계; 복수 레벨의 이미지에 대해 평활화 에너지 계수를 결정하고, 결정된 평활화 에너지 계수를 이용하여 해상도가 최하위인 레벨의 이미지에 대해 양안차 맵을 구하는 단계; 상위 레벨의 이미지에 대해 최하위레벨의 이미지와의 해상도 차를 반영하여 양안차 맵으로부터 상위 레벨의 이미지에 대해 거친 양안차 맵을 추정하는 단계; 거친 양안차 맵을 이용하여 상위 레벨의 이미지에 대한 미세한 양안차 맵을 구하는 단계; 및 상위 레벨의 이미지가 최상위 레벨의 해상도를 갖는 이미지이면 미세한 양안차 맵을 스테레오 이미지에 대한 최종 양안차 맵으로 출력하는 단계를 포함한다.

Description

3차원 객체 인식을 위한 양안차 추정 방법{Method for estimting disparity for 3D object recognition}

도 1a는 원시 이미지의 좌측 이미지를 도시한 것이다.

도 1b는 원시 이미지의 우측 이미지를 도시한 것이다.

도 1c는 검증 양안차 맵(ground-truth disparity map)이다.

도 2a, 2b 및 2c는 평활화 계수가 각각 2, 6 및 12일 때 그래프 컷 알고리즘을 이용하여 구한 양안차 맵을 나타낸 것이다.

도 3은 동일 이미지가 서로 다른 해상도를 가질 때, 평활화 에너지 계수에 따른 양안차 맵의 검증 양안차 맵에 대한 전체 에러(gross error)를 도시한 것이다.

도 4는 본 발명에 따른 양안차 추정 방법에 대한 흐름도를 도시한 것이다.

도 5는 평활화 에너지 계수와 이미지의 평균 텍스쳐의 관계를 그래프로 나타낸 것이다.

도 6은 코어스-파인 그래프 컷 알고리즘에서 이웃하는 두 픽셀의 초기 양안차가 동일할 때 알파-확장방식으로 형성된 그래프를 도시한 것이다.

도 7은 코어스-파인 그래프 컷 알고리즘에서 이웃하는 두 픽셀의 초기 양안차가 동일하지않을 때 알파-확장 방식으로 형성된 그래프를 도시한 것이다.

도 8은 도 1a 및 도 1b에 도시된 이미지에 대해 종래의 양안차 맵 추정 방법과 본 발명에 따른 양안차 맵 추정 방법을 적용한 결과를 각각 도시한 것이다.

도 9는 3개의 계층을 갖고 일정한 평활화 에너지 계수를 갖는 계층적 그래프 컷 알고리즘을 이용하여 만들어지는 양안차 맵에 대한 전체 에러를 도시한 것이다.

도 10a 및 도 10b는 실내에서 출입문의 천정측에 설치된 카메라를 이용하여 사람이 있는 경우와 없는 경우를 각각 촬영한 이미지를 나타낸다.

도 10c 및 도 10d는 각각 도 10a 및 도 10b의 이미지에 대한 양안차 맵을 도시한 것이다.

도 11a 및 도 11b는 나무가 있는 정원에 대한 이미지와 이미지 분할(image segmentation)을 위한 양안차 맵을 도시한 것이다.

도 12a 및 도 12b는 사람의 얼굴에 대한 이미지와 이미지에서 얼굴 영역에 대한 양안차 맵을 도시한 것이다.

본 발명은 3차원 객체 인식을 위한 양안차(disparity) 추정 방법 및 장치에 관한 것으로, 특히 소정 거리만큼 이격된 두 카메라로부터 획득한 스테레오 이미지로(stereo image)부터 3차원 객체 인식을 위한 양안차를 추정하는 방법에 관한 것이다.

스테레오 정합(stereo matching)은 서로 다른 시점(view point)에서 동일한 씬(scene)에 대해 획득한 두 이미지로부터 깊이 정보를 추출하는 것이다. 이 깊이 정보는 두 이미지에서 동일한 객체(object)를 투사(projection)하여 얻은 상대적인 위치로부터 얻어진다. 이러한 기술에서 어려운 점은 동일한 객체의 이미지를 나타내는 픽셀을 찾는 것이다.

두 이미지에서 대응되는 픽셀의 위치는 이피폴라 라인(epipolar line) 방향을 따르는 1차원 변이, 즉, 양안차와 관계된다. 양안차 추정은 한 이미지의 픽셀을 다른 이미지의 해당 픽셀에 위치시키는 것이다. 양안차 추정은 에너지 최소화 문제로 귀착되며, 이를 해결하고자하는 알고리즘중에 그래프 컷(graph cut) 알고리즘이 있다.

그래프 컷 알고리즘에서 양안차 추정은 다음과 같이 표현되는 에너지 E(f)를 최소화하는 양안차 맵(map) f를 얻는 것이다.

E(f) = E_data(f) + E_smooth(f)

여기서, E_data(f)는 스테레오 이미지에서 대응하는 픽셀간의 불일치(disagreement)를 측정한 데이터 에너지이고, E_smooth(f)는 양안차 맵의 평활화 정도(smoothness)를 측정한 평활화 에너지이다.

E_data(f)는 두 이미지에서 동일 위치에 대응되는 픽셀 값(pixel value 또는 intensity)의 차로 계산된다. 그래프 컷 알고리즘에서 E_smooth(f)는 다음 식과 같이 계산된다.

여기서, p,q는 한 이미지내의 이웃 픽셀이고, f(p), f(q)는 각각 p, q 픽셀의 양안차이다. N은 이웃 픽셀 쌍을 구성하는 세트이다. V_p,q(f_p,f_q)는 페널티(penalty)이다. 이웃하는 두 픽셀(p,q)의 양안차가 다르다면, 페널티 V_p,q(f_p,f _q)는 위 식에 표현된 바와 같이 평활화 에너지를 증가시킨다. λ는 평활화 에너지 계수이다.

양안차 추정을 위한 그래프 컷 알고리즘에서는 이 평활화 에너지 계수를 어떻게 결정하느냐가 중요하다.

도 1 및 도 2는 각각 원시 이미지(original image)와 그에 따른 양안차 맵을 도시한 것이다. 도 1a 및 도 1b는 각각 좌우측 원시 이미지이다. 도 1c는 검증 양안차 맵(ground-truth disparity map)이다. 도 2a, 2b 및 2c는 평활화 계수가 각각 2, 6 및 12일 때 그래프 컷 알고리즘을 이용하여 구한 양안차 맵을 나타낸 것이다. 도시된 바에 따르면, 도 2a의 경우는 평활화가 부족한 경우(under-smooth)한 경우 로 잡음이 많이 포함된 것을 알 수 있다. 도 2c의 경우 평활화가 과도한 경우(over-smooth)로 객체에 대한 불연속성(discontinuity)이 잘 나타나지않음을 알 수 있다. 도 2b의 경우 도 2a 및 도 2c의 경우에 비해 객체 구분이 잘 나타난 것을 알 수 있다.

도 3은 동일 이미지가 서로 다른 해상도를 가질 때, 평활화 에너지 계수에 따른 양안차 맵의 검증 양안차 맵에 대한 전체 에러(gross error)를 도시한 것이다. 도시된 바에 따르면, 1/2 해상도의 이미지에 대한 최적의 평활화 계수와 2배의 해상도를 갖는 이미지에 대한 최적의 평활화 계수는 완전히 다름을 알 수 있다.

따라서, 스테레오 이미지에 대해 최적의 양안차 맵을 얻기위해서는 각 이미지에 따라 평활화 에너지 계수를 다르게 할 필요가 있다.

본 발명이 이루고자하는 기술적 과제는 이미지의 해상도에 따라 평활화 에너지 계수를 적응적으로 구하고, 구해진 평활화 에너지 계수가 적용되는 계층적인 그래프 컷 알고리즘을 이용하여 양안차를 추정하는 방법을 제공하는데 있다.

상기 기술적 과제를 이루기위한, 본 발명은 스테레오 이미지로부터 양안차를 추정하는 방법에 있어서, 상기 스테레오 이미지의 해상도를 각각 달리하여 복수 레벨의 이미지를 구하는 단계; 상기 복수 레벨의 이미지에 대해 평활화 에너지 계수를 결정하고, 결정된 평활화 에너지 계수를 이용하여 상기 해상도가 최하위인 레벨의 이미지에 대해 양안차 맵을 구하는 단계; 상위 레벨의 이미지에 대해 상기 최하위레벨의 이미지와의 해상도 차를 반영하여 상기 양안차 맵으로부터 상기 상위 레벨의 이미지에 대해 거친 양안차 맵을 추정하는 단계; 상기 거친 양안차 맵을 이용하여 상기 상위 레벨의 이미지에 대한 미세한 양안차 맵을 구하는 단계; 및 상기 상위 레벨의 이미지가 최상위 레벨의 해상도를 갖는 이미지이면 상기 미세한 양안차 맵을 상기 스테레오 이미지에 대한 최종 양안차 맵으로 출력하는 단계를 포함함을 특징으로한다.

이하에서 첨부된 도면을 참조하여 본 발명을 보다 상세하게 설명하기로한다.

도 4는 본 발명에 따른 양안차 추정 방법에 대한 흐름도를 도시한 것이다. 본 발명에서는 양안차 추정을 위하여 계층적인 그래프 컷 알고리즘(hierarchical graph cut algorithm)을 사용한다. 여기서, 계층적이라 함은, 이미지의 해상도를 각각 달리하여 해상도가 가장 낮은 이미지부터 순차적으로 그래프 컷 알고리즘을 적용하여 양안차 맵을 구하는 것을 말한다. 이 때, 각 계층에 적용되는 평활화 에너지 계수는 이미지의 해상도에 따라 달라질 수 있다.

먼저, 원시 이미지에 대해 복수 레벨의 해상도를 획득한다(40단계). 레벨 수는 채택할 계층의 수에 따라 정해지고, 각 해상도는 원시 이미지의 해상도에 대해 1/2ⁿ(단, n은 자연수)의 비율로 구해진다.

다음으로, 각 레벨의 해상도에 대한 평활화 에너지 계수를 계산한다(41단계). 평활화 에너지 계수는 각 레벨마다 동일한 값으로 설정될 수도 있으나, 본 발명에서는 각 레벨에 따라 적응적으로 변하는 값을 갖도록 한다. 평활화 에너지 계수의 계산은 이미지의 텍스쳐를 이용할 수 있다. 일반적으로, 이미지의 텍스쳐가 하나라면 쉽게 픽셀 정합(pixel matching)에 의해 양안차를 구할 수 있지만, 대부분의 이미지는 여러 텍스쳐를 갖는다. 따라서 양안차 계산에는 픽셀 일치(pixel correspondence)외에 평활화 항이 더 포함된다.

보통 텍스쳐가 많은 이미지에 대한 양안차 추정에는 평활화보다 픽셀 일치가 더 중요한 역할을 하고, 텍스쳐가 적은 이미지에 대한 양안차 추정에는 반대로 평활화가 더 중요한 역할을 한다.

따라서, 평활화 에너지 계수는 이미지의 텍스쳐와 관련이 있다. 본 실시예에서는 (x,y)에 위치한 픽셀의 텍스쳐 T(x,y)를 다음 식과 같이 정의하기로 한다.

여기서, x=1,2,…,폭, y=1,2,…,높이 이다. 폭과 높이는 각각 이미지의 폭과 높이이다. x_k= min(x-1, 폭-x, 2), y_k= min(y-1, 높이-y, 2)이다. I(x,y)는 이미지의 픽셀 값이다. 또한 (x_k=0)이고 (y_k=0)이면, T(x,y)=0이다.

수학식 3의 텍스쳐로부터 다음 식과 같이 직접 평활화 에너지 계수 λ를 얻을 수 있다.

여기서, (m,n)은 m<0<n이다.

그러나 수학식 4의 경우 파라미터 a_i를 결정해야하는 문제가 있다. 이 파라미터를 결정하는데는 충분한 양의 학습 샘플이 필요하다. 또한 주어진 원시 이미지와 검증 양안차 맵에 대해 최적의 평활화 계수를 얻도록 이 파라미터가 결정되어야하는 문제도 있다.

이를 위하여 각각 스테레오 이미지와 검증 양안차 맵을 갖는 몇 개의 학습 샘플을 얻고, 이 학습 샘플들을 스케일링(scaling)하고 분할(segmentation)하여 보다 많은 학습 샘플들을 얻어서, 평활화 에너지 계수를 구할 수 있다.

도 5는 수학식 3과 4에 따라 얻어진 평활화 에너지 계수와 이미지의 평균 텍스쳐의 관계를 그래프로 나타낸 것이다. 도시된 바에 따르면, 평활화 에너지 계수는 텍스쳐와 역비례 관계에 있음을 알 수 있다.

평활화 에너지 계수를 결정하는 다른 방법으로는, 간단하게 평활화 에너지 계수를 정수로 가정하고, 가능한 평활화 에너지 계수를 탐색하여 적절한 값을 결정할 수도 있다.

그러나, 이 두 경우 모두 많은 계산을 요하므로, 다음 식과 같은 반복 알고리즘(iteration algorithm)을 이용하여 평활화 에너지 계수를 구할 수도 있다.

여기서, λ_k는 k번째 반복시 평활화 에너지 계수이고, β는 스텝 사이즈 (step size)이다. D_k는 λ_k를 기반으로하여 그래프 컷 알고리즘을 이용하여 추정된 양안차 맵이고, G는 검증 양안차 맵이다. M(D_k,G)는 D_k와 G간의 평활화를 측정하는 함수다. 예를 들어, D_k가 G보다 작다면 M(D_k,G) > 0 이고, 그렇지 않은 경우 M(D_k,G) < 0 이다. 본 실시예에서 M(D_k,G)는 양안차 맵의 에지(edge) 정보를 사용하였다.

상술한 방법중 어느 하나를 이용하여 평활화 에너지 계수를 구한 후, 최저 레벨의 해상도를 갖는 이미지에 대해 양안차 맵을 구한다(42단계). 이 때, 양안차 맵은 기존의 그래프 컷 알고리즘을 사용하여 구할 수 있다. 기존의 그래프 컷 알고리즘으로는, 대표적으로, Y. Boykov 등의 "Fast Approximate Energy Minimization via Graph Cuts, IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 23, Issue 11, November 2001, pp. 1222 - 1239)가 있다.

최저 해상도의 이미지에 대한 양안차 맵을 구한 후, 이를 기반으로하여 상위 레벨 이미지에 대한 거친(coarse) 양안차 맵을 구한다(43단계). 이를 보다 상세하게 설명하면 다음과 같다. 본 실시예에서 계층간 해상도는 2배의 차이가 있도록 선택하였다. 즉, 하위 레벨의 한 픽셀은 상위 레벨의 4개의 픽셀에 대응되며, 그에 따라 이 4개 픽셀의 양안차는 하위 레벨에서 대응되는 픽셀의 양안차의 2배가 된다. 따라서 상위 레벨의 이미지에 대해서는 하위 레벨 이미지의 양안차 맵으로부터 양안차가 2배가 되는 거친 양안차 맵을 구할 수 있다.

상위 레벨에 대한 거친 양안차 맵과 41단계에서 구한 해당 레벨의 평활화 에 너지 계수를 이용하여 상위 레벨에 대한 세밀한(fine) 양안차 맵을 구한다(44단계). 여기서, 미세 양안차 맵은 본 발명에 따른 코어스-파인(coarse-to-fine) 그래프 컷 알고리즘을 이용하여 구할 수 있다.

코어스-파인 그래프 컷 알고리즘을 보다 상세하게 설명하면 다음과 같다.

도 6은 코어스-파인 그래프 컷 알고리즘에서 이웃하는 두 픽셀의 초기 양안차, 즉, 거친 양안차 맵에 따른 양안차인 A0, B0가 동일할 때 알파-확장(α-expansion) 방식으로 그래프를 만드는 방법을 도시한 것이다. 여기서, α는 두 카메라가 떨어진 거리를 참조하여 실험적으로(heuristically) 설정되는 최대 양안차값으로, 이미지에 포함된 영역들을 0 에서 α까지 (α+1)개의 레이블(label)로 분류하는데 사용되는 값이다.

도 6의 그래프에서 이웃하는 두 픽셀 A, B를 정점(vertex)이라 하고, 소스(source)와 싱크(sink)를 초정점(super vertex) 또는 터미널(terminal)이라 한다. 여기서, 이웃하는 두 픽셀은, 예를 들어 A 픽셀을 중심으로 상하좌우에 위치하는 픽셀중 하나인 B를 말한다. 소스는 양안차 α를 의미하고, 싱크는 각 픽셀의 초기 양안차가 그대로 유지되도록하는 것을 의미한다.

도 6에서 Ta, Tb는 소스에서 각 정점들로 연결되는 에지(edge)들의 웨이트이고, Va, Vb는 각 정점에서 싱크로 향하는 에지의 웨이트이다. Vab는 두 정점간 에지의 웨이트이고, 각 웨이트는 다음 식과 같이 나타낼 수 있다.

여기서,

는 픽셀 p의 양안차가 [α-1, α+1]의 범위에 있지않고, 그에 따라 p에 대해 그래프에서 대응하는 정점이 없음을 의미한다. N(A)는 픽셀 A의 이웃 셋(set)을 말한다.

는 픽셀 p가 A의 이웃 픽셀중 하나임을 의미한다. D(A, source)는 픽셀 A가 소스의 양안차 α를 가질 때의 데이터 에너지를 말하고, D(A,A0)는 픽셀 A의 양안차가 A0일 때의 데이터 에너지를 말한다. V(A,source,p,f_p)는 A의 양안차가 α이고 픽셀 p의 양안차가 f_p일 때 수학식 2에 따른 A와 p간의 평활화 에너지를 말한다. MAX_ENERGY는 최대 에너지이다.

본 발명의 코어스-파인 그래프 컷 알고리즘에서의 알파 확장은 다음을 의미한다. 초기 양안차가 A0인 픽셀 A의 양안차는 A0-1, A0, 또는 A0+1중 하나로만 변할 수 있다. 따라서, α가 A0-1≤α≤A0+1 이면, 픽셀 A는 그래프에서 대응되는 정점을 갖는다. 그러나, A0-1>α 또는 A0+1<α이면, 픽셀 A는 그래프에서 대응되는 정점을 갖지 않는다. 따라서 그래프에서는 초기 양안차가 [α-1, α+1]의 범위에 있는 픽셀들만 정점을 갖게된다.

도 7은 코어스-파인 그래프 컷 알고리즘에서 이웃하는 두 픽셀의 초기 양안차인 A0, B0가 동일하지않을 때 알파-확장 방식으로 그래프를 만드는 방법을 도시한 것이다.

정점들과 터미널들은 도 6에 도시된 경우와 동일하다. 그래프에서, C는 원시 이미지의 픽셀에 대응되지않는 정점으로, 픽셀 A와 B의 초기 양안차가 동일하지않을 때 추가되는 정점이다. 이 정점은 최소 컷(min cut)이 에너지와 동일하도록한다. 그래프에서 각 에지의 웨이트는 다음 식과 같이 결정된다.

도 6 또는 도 7에 도시된 그래프에서 소스에서 각 정점을 통해 싱크로 향하 는 에지들중에서 그 합이 최소가 되는 에지들이 컷되고, 컷 결과 소스에 연결되는 픽셀의 레이블링은 그대로 유지되고, 싱크에 연결되는 픽셀의 레이블링은 α로 변환된다.

다른 픽셀들과 구별하여 레이블링하는 형태로 양안차 맵이 형성된다.

다음으로, 44단계의 상위 레벨이 최상위 레벨인지를 판별하여(45단계), 최상위 레벨이면, 최상위 레벨에 대해 구한 양안차 맵을 최종 양안차 맵으로 출력한다(46단계). 최상위 레벨이 아니면, 43단계로 돌아가서 현재 레벨의 양안차 맵을 이용하여 다음 상위 레벨에 대한 거친 양안차 맵을 추정한다.

도 8은 도 1a 및 도 1b에 도시된 이미지에 대해 종래의 양안차 맵 추정 방법과 본 발명에 따른 양안차 맵 추정 방법을 적용한 결과를 각각 도시한 것이다. 도 8a는 종래의 시뮬레이티드 어닐링(simulated annealing) 방법을 사용한 것이고, 도 8b는 정규 상관(normal correlation) 방법을 사용한 것이다. 도 8c는 일반적인 그래프 컷 알고리즘을 사용한 것이고, 도 8d는 본 발명의 계층적 그래프 컷 알고리즘에 일정한 평활화 에너지 계수를 적용한 결과를 도시한 것이다. 도 8e는 본 발명의계층적 그래프 컷 알고리즘에 적응적 평활화 에너지 계수를 적용한 결과를 도시한 것이다. 참고로, 본 실험에서 계층은 상하위 2계층을 적용하였다. 원시 이미지의 해상도는 (768*576)이고, 양안차의 범위는 [0, 31]이다.

도시된 바에 따르면, 본 발명에 따른 도 8e의 경우가 영역 구분이 가장 잘 됨을 알 수 있다.

도 9는 해상도가 (768*576)인 이미지에 3개의 계층을 갖는 계층적 그래프 컷 알고리즘을 적용하고, 3개 계층에 일정한 평활화 에너지 계수를 적용하였을 때 만들어지는 양안차 맵에 대한 전체 에러를 도시한 것이다. 도시된 바에 따르면, 평활화 에너지 계수가 9일 때 전체 에러가 7.12%로 가장 낮음을 알 수 있다.

다른 실험으로서, 도 9에 적용된 계층적 그래프 컷 알고리즘에서 각 계층별로 평활화 에너지 계수를 적응적으로 추정하여 적용하였을 때, 전체 에러는 5.46%가 되었다.

다음 표는 각 양안차 추정 방법에 따른 계산시간과 전체 에러율을 비교한 것이다.

양안차 추정 방법	계산시간(초)	전체 에러율(%)
시뮬레이티드 어닐링	10000	12.23
정규 상관	16	15.12
그래프 컷	134	5.63
계층적 그래프 컷+일정한 평활화 계수	12.01	7.12
계층적 그래프 컷+적응적 평활화 계수	12.03	5.46

표에 따르면, 본 발명에 따른 계층적 그래프 컷 알고리즘과 적응적 평활화 계수를 적용하는 방법이 계산시간과 전체 에러율 면에서 가장 우수함을 알 수 있다.

도 10은 본 발명의 계층적 그래프 컷 알고리즘을 피플 카운팅(people counting)에 적용한 예를 도시한 것이다. 도 10a 및 도 10b는 실내에서 출입문의 천정측에 설치된 카메라를 이용하여 사람이 있는 경우와 없는 경우를 각각 촬영한 이미지를 나타낸다. 도 10c 및 도 10d는 각각 도 10a 및 도 10b의 이미지에 대한 양안차 맵을 도시한 것이다.

도 10c의 결과를 도 10d의 경우와 비교해보면, 사람이 있는 경우 천정측에서 보면 바닥면과 사람의 머리가 키만큼의 차이가 있으므로, 사람의 머리가 바닥면에 비해 흰색으로 두드러져 나타난 것을 알 수 있다. 따라서, 이미지의 양안차를 추정함으로써 출입문을 통과하는 사람들의 수를 셀 수도 있다.

또한 도 11a 및 도 11b에 도시된 바와 같이 이미지 분할(image segmentation)에 적용할 수 있고, 도 12a 및 도 12b에 도시된 바와 같이 촬영된 이미지에서 얼굴 영역에 대한 양안차 맵을 추정함으로써 얼굴인식에도 사용될 수 있다.

본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플라피디스크, 광데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.

본 발명에 따르면, 이미지의 해상도를 복수 레벨로 나누고, 각 레벨에 따라 평활화 에너지 계수를 달리하고, 각 해상도별 이미지에 계층적인 그래프 컷 알고리즘을 적용함으로써 계산 시간을 단축시킬 수 있고, 전체 에러율을 감소시킬 수 있다.

Claims (15)

1. 스테레오 이미지로부터 양안차를 추정하는 방법에 있어서,

   상기 스테레오 이미지의 해상도를 각각 달리하여 복수 레벨의 이미지를 구하는 단계;

   상기 복수 레벨의 이미지에 대해 평활화 에너지 계수를 결정하고, 결정된 평활화 에너지 계수를 이용하여 상기 해상도가 최하위인 레벨의 이미지에 대해 양안차 맵을 구하는 단계;

   상위 레벨의 이미지에 대해 상기 최하위레벨의 이미지와의 해상도 차를 반영하여 상기 양안차 맵으로부터 상기 상위 레벨의 이미지에 대해 거친 양안차 맵을 추정하는 단계;

   상기 거친 양안차 맵을 이용하여 상기 상위 레벨의 이미지에 대한 미세한 양안차 맵을 구하는 단계; 및

   상기 상위 레벨의 이미지가 최상위 레벨의 해상도를 갖는 이미지이면 상기 미세한 양안차 맵을 상기 스테레오 이미지에 대한 최종 양안차 맵으로 출력하는 단계를 포함함을 특징으로하는 양안차 추정 방법.
2. 제1항에 있어서, 상기 복수 레벨의 해상도는

   상기 스테레오 이미지의 해상도에 대해 1/2ⁿ,(단, n은 자연수)의 비율로 구 하는 것을 특징으로하는 양안차 추정 방법.
3. 제2항에 있어서, 상기 거친 양안차 맵은

   상기 상위레벨보다 1계층 하위인 레벨의 이미지의 각 픽셀에 대응하는 상위레벨의 픽셀들의 양안차가 상기 하위레벨 이미지의 해당 픽셀이 갖는 양안차의 2배가 되도록 구해지는 것을 특징으로하는 양안차 추정 방법.
4. 제1항 내지 제3항중 어느 한 항에 있어서, 상기 양안차 맵은

   상기 스테레오 이미지에 대해 측정한 데이터 에너지와 소정 평활화 에너지 계수를 이용하여 측정한 평활화 에너지의 합을 최소화하도록 구하고, 상기 평활화 에너지 계수는 각 레벨의 해상도에 따른 텍스쳐 양에 의해 결정됨을 특징으로하는 양안차 추정 방법.
5. 제4항에 있어서, 상기 평활화 에너지 계수를 λ로 표현할 때, 상기 λ는

   (x,y)에 위치한 픽셀의 텍스쳐 양이 T(x,y)일 때, 다음 식

   

   여기서, m<0<n이고, a_i는 계수

   과 같이 구하는 것을 특징으로하는 양안차 추정 방법.
6. 제5항에 있어서, 상기 텍스쳐의 양은

   다음 식

   

   여기서, x=1,2,…,이미지의 폭, y=1,2,…,이미지의 높이, x_k= min(x-1, 이미지의 폭-x, 2), y_k= min(y-1, 이미지의 높이-y, 2), I(x,y)는 이미지의 픽셀 값

   과 같이 구하는 것을 특징으로하는 양안차 추정 방법.
7. 제4항에 있어서, 상기 평활화 에너지 계수는

   검증 양안차 맵과 k번째(k는 자연수) 평활화 에너지 계수를 기반으로하여 얻어진 양안차 맵간의 평활화 정도를 측정하는 함수에 따라 k번째 평활화 계수로부터 (k+1)번째 평활화 에너지 계수가 결정되도록 반복(iteration)하여 결정하는 것을 특징으로하는 양안차 추정 방법.
8. 제7항에 있어서, 상기 평활화 정도를 측정하는 함수는

   상기 k번째 평활화 에너지 계수를 기반으로하여 얻어진 양안차 맵의 에지 정보를 이용하여 결정하는 것을 특징으로하는 양안차 추정 방법.
9. 제1항에 있어서, 상기 미세한 양안차 맵은

   상기 거친 양안차 맵으로부터 얻은 이웃하는 두 픽셀 A, B의 양안차 A0, B0가 동일하면, 상기 두 픽셀을 정점으로하고, 상기 두 정점에 각각 연결되는 소스와 싱크를 구비하며, 상기 두 정점, 소스 및 싱크가 소정 웨이트를 갖는 에지들로 연결되도록 그래프가 형성될 때, 상기 소스로부터 싱크로 향하는 에지들의 웨이트의 합이 최소가 되도록 컷하여 상기 소스에 연결되는 픽셀의 레이블은 그대로 유지하고, 상기 싱크에 연결되는 픽셀의 레이블은 상기 소스에 해당하는 레이블로 변환하는 것을 특징으로하는 양안차 추정 방법.
10. 제9항에 있어서,

    상기 소스와 두 정점간 에지들의 각 웨이트는

    각 픽셀이 소스에 해당하는 양안차를 가질 때의 데이터 에너지와 각 픽셀의 이웃 픽셀들이 소정 조건을 만족할 때 상기 각 픽셀과 해당 이웃 픽셀들간의 평활화 에너지의 합으로 표현되고,

    상기 두 정점과 싱크간 에지들의 각 웨이트는

    상기 각 픽셀이 초기 양안차를 가질 때의 데이터 에너지와 상기 각 픽셀의 이웃 픽셀들이 소정 조건을 만족할 때 상기 각 픽셀과 해당 이웃 픽셀들간의 평활화 에너지의 합으로 표현되며,

    상기 두 정점간 에지의 웨이트는

    상기 두 픽셀중 어느 하나가 상기 소스에 해당하는 양안차를 가질 때 상기 두 픽셀간의 평활화 에너지로 표현되는 것을 특징으로하는 양안차 추정 방법.
11. 제10항에 있어서, 상기 조건은

    상기 이웃 픽셀들의 각 양안차가 [최대 양안차-1, 최대 양안차+1]의 범위내에 있지않고, 상기 그래프에 대응하는 정점을 갖지않은 것을 특징으로하는 양안차 추정 방법.
12. 제9항에 있어서, 상기 미세한 양안차 맵은

    상기 거친 양안차 맵으로부터 얻은 이웃하는 두 픽셀 A, B의 양안차 A0, B0가 동일하지않으면, 상기 두 픽셀을 제1 및 제2정점으로하고, 상기 제1 및 제2정점에 각각 연결되는 소스와 싱크를 구비하며, 상기 제1 및 제2정점 사이에 상기 상위레벨 이미지의 픽셀에 대응되지않은 제3정점을 더 구비하여 상기 세 정점, 소스 및 싱크가 소정 웨이트를 갖는 에지들로 연결되도록 그래프가 형성될 때, 상기 소스로부터 싱크로 향하는 에지들의 웨이트의 합이 최소가 되도록 컷하여 상기 소스에 연결되는 픽셀의 레이블은 그대로 유지하고, 상기 싱크에 연결되는 픽셀의 레이블은 상기 소스에 해당하는 레이블로 변환하는 것을 특징으로하는 양안차 추정 방법.
13. 제12항에 있어서,

    상기 소스와 제1 및 제2정점간 에지들의 각 웨이트는

    각 픽셀이 소스에 해당하는 양안차를 가질 때의 데이터 에너지와 각 픽셀의 이웃 픽셀들이 소정 조건을 만족할 때 상기 각 픽셀과 해당 이웃 픽셀들간의 평활화 에너지의 합으로 표현되고,

    상기 제1 및 제2정점과 싱크간 에지들의 각 웨이트는

    상기 각 픽셀이 초기 양안차를 가질 때의 데이터 에너지와 상기 각 픽셀의 이웃 픽셀들이 소정 조건을 만족할 때 상기 각 픽셀과 해당 이웃 픽셀들간의 평활화 에너지의 합으로 표현되며,

    상기 제1정점 또는 제2정점과 상기 제3정점간 에지의 웨이트는

    상기 제1정점 또는 제2정점에 해당하는 픽셀이 상기 소스에 해당하는 양안차를 가질 때 상기 두 픽셀간의 평활화 에너지로 표현되고,

    상기 제3정점과 상기 싱크간 에지의 웨이트는

    상기 두 픽셀이 초기 양안치를 가질 때 상기 두 픽셀간의 평활화 에너지로 표현되는 것을 특징으로하는 양안차 추정 방법.
14. 제13항에 있어서,

    상기 조건은

    상기 이웃 픽셀들의 각 양안차가 [최대 양안차-1, 최대 양안차+1]의 범위내에 있지않고, 상기 그래프에 대응하는 정점을 갖지않은 것을 특징으로하는 양안차 추정 방법.
15. 스테레오 이미지로부터 양안차를 추정하는 방법에 있어서,

    상기 스테레오 이미지의 해상도를 각각 달리하여 복수 레벨의 이미지를 구하는 단계;

    상기 복수 레벨의 이미지에 대해 평활화 에너지 계수를 결정하고, 결정된 평활화 에너지 계수를 이용하여 상기 해상도가 최하위인 레벨의 이미지에 대해 양안차 맵을 구하는 단계;

    상위 레벨의 이미지에 대해 상기 최하위 레벨의 이미지와의 상기 해상도 차를 이용하여 상기 양안차 맵으로부터 상기 상위 레벨의 이미지에 대해 거친 양안차 맵을 추정하는 단계;

    상기 거친 양안차 맵을 이용하여 상기 상위 레벨의 이미지에 대한 미세한 양안차 맵을 구하는 단계; 및

    상기 상위 레벨의 이미지가 최상위 레벨의 해상도를 갖는 이미지이면 상기 미세한 양안차 맵을 상기 스테레오 이미지에 대한 최종 양안차 맵으로 출력하는 단계를 포함하는 양안차 추정 방법을 실행할 수 있는 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.

Images