KR20090052889A - 이미지들로부터 깊이 맵을 결정하기 위한 방법 및 깊이 맵을 결정하기 위한 디바이스 - Google Patents

이미지들로부터 깊이 맵을 결정하기 위한 방법 및 깊이 맵을 결정하기 위한 디바이스 Download PDF

Info

Publication number
KR20090052889A
KR20090052889A KR1020097006726A KR20097006726A KR20090052889A KR 20090052889 A KR20090052889 A KR 20090052889A KR 1020097006726 A KR1020097006726 A KR 1020097006726A KR 20097006726 A KR20097006726 A KR 20097006726A KR 20090052889 A KR20090052889 A KR 20090052889A
Authority
KR
South Korea
Prior art keywords
point
matching
windows
image
depth map
Prior art date
Application number
KR1020097006726A
Other languages
English (en)
Inventor
페이컬 보우호빌
Original Assignee
코닌클리케 필립스 일렉트로닉스 엔.브이.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 코닌클리케 필립스 일렉트로닉스 엔.브이. filed Critical 코닌클리케 필립스 일렉트로닉스 엔.브이.
Publication of KR20090052889A publication Critical patent/KR20090052889A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

상이한 방향들로부터 획득된 이미지들로부터 깊이 맵을 결정하기 위해 윈도우 기반 매칭이 사용된다. 깊이가 결정되어야 하는 이미지의 포인트들에 대해 매칭 윈도우들의 세트가 사용된다. 하나 이상의 후보 디스패러티 값이 각각의 포인트에 어트리뷰팅되는 임시적인 깊이 맵이 생성된다. 임시적인 깊이 맵은 단위 벡터들의 합의 놈의 적어도 z-성분이 이웃하는 포인트들에 대한 후보 디스패러티 값들로부터 관심있는 포인트로 포인팅하는 표면 필터링에 의하여 필터링된다.
깊이 맵, 매칭 윈도우, 디스패러티 값, 단위 벡터

Description

이미지들로부터 깊이 맵을 결정하기 위한 방법 및 깊이 맵을 결정하기 위한 디바이스{METHOD FOR DETERMINING A DEPTH MAP FROM IMAGES, DEVICE FOR DETERMINING A DEPTH MAP}
본 발명은 이미지(image)의 포인트(point)에 대한 윈도우-기반 매칭(window-based matching)을 사용하여 상이한 방향들로부터 획득된 이미지들로부터 깊이 맵(depth map)을 결정하기 위한 방법에 관한 것이다. 본 발명은 또한 이미지의 포인트에 대한 윈도우-기반 매칭을 사용하여 상이한 방향들로부터 획득된 이미지들로부터 깊이 맵을 결정하기 위한 디바이스에 관한 것이다.
다수의 애플리케이션들(applications)에 대하여, 이미지들로부터 깊이 맵을 결정하는 것이 바람직하다. 이와 같은 애플리케이션들의 예들은 상호작용적으로 제어 가능한 방향들로부터 뷰잉(viewing)된 장면의 이미지들을 계산하는 것, 이미지 압축, 검사, 등을 가능하게 하는 시스템들을 포함한다. 스테레오 이미저리(stereo imagery)로부터 깊이 맵들을 복구하는 태스크(task)는 종종 3D 디스플레이들, 제조에서의 품질 제어, 자발적인 네비게이션(autonomous navigation) 및 오브젝트 인식(object recognition)과 같은 광범위한 애플리케이션들에 대해 결정적이다. 여기서, 이미지에서의 포인트의 깊이는 카메라의 광축에 수직이고 포인트를 통한 플레 인(plane) 및 뷰포인트(viewpoint) 사이의 거리를 언급한다.
카메라의 뷰포인트가 제 1 뷰포인트로부터 제 2 뷰포인트로 이동될 때, 이미지 포인트의 깊이는 이미지 포인트의 위치의 변환량으로부터 결정될 수 있다. 이미지가 포인트 프로젝션(point projection)에 의해 획득되는 경우에, 변환은 카메라의 변위량에 비례하고, 이미지의 부분의 깊이에 반비례한다.
변환을 측정하기 위하여, 카메라의 제 1 방향으로부터 획득되는 제 1 이미지에서의 픽셀 주위의 윈도우에서의 픽셀 값들이 제 2 방향으로부터 획득되는 제 2 이미지에서의 픽셀 주위의 윈도우에서의 픽셀 값들과 비교되는 윈도우 기반 매칭을 사용하는 것이 공지되었다. 매칭은 통상적으로 매칭 윈도우들에서의 픽셀들의 픽셀 값들 사이의 차이들의 총계를 결정하는 것을 포함한다.
적응형 윈도우들을 사용하는 것이 또한 제안되었다. 그러나, 적응형 윈도우들을 사용하는 것은 윈도우들을 적응시키기 위하여 통상적으로 상당히 복잡한 알고리즘(algorithm)을 필요로 한다.
윈도우-기반 매칭을 사용하여 깊이 맵을 결정하기 위한 방법은 Computer Vision and Pattern Recognition 2001, CVPR 2001, Proceedings of the 2001 IEEE Computer Society Conference on Volume 2, 2001, pages II-138 to II-142, vol.2에서 Masatoshi Okutomi 등에 의한 논문 "A Simple Stereo Algorithm to Recover Precise Object Boundaries and Smooth Surfaces"에 설명되어 있다.
매칭이 수행되는 이미지의 각각의 포인트에 대한 공지된 방법에서, 매칭 윈도우가 사용되는데, 여기서 관심있는 포인트의 위치는 윈도우의 모든 포인트들에 걸쳐 스캐닝(scanning)된다. 매칭 윈도우가 관심있는 픽셀 주위에 비대칭으로 설정되어, 매칭 윈도우가 오브젝트 경계(object boundary)들을 커버하지 못하게 되는 경우에, 경계 오버리치(boundary overreach)가 나타나지 않는다. 관심있는 픽셀은 매칭 윈도우들의 전체 세트에 걸쳐 스캐닝된다. 결과적인 SSSD(SSD의 합, 여기서 SSD는 제곱된 차이들의 합임)의 최소 값을 찾아내는 것은 그 포인트에 대한 디스패러티 추정치(disparity estimate)를 제공한다.
공지된 방법은 경계 오버리치 문제에 대한 해결책을 제공한다. 그러나, 해결책은 많은 수의 계산들을 필요로 한다. 또한, 또 다른 문제가 발생한다: 스무드(smooth)한 디스패러티 표면들이 파괴되고, 이러한 스무드한 디스패러티 표면들에서 많은 계단식 정사각형들이 관측된다. 스무드한 디스패러티 표면들에서의 문제들은 경계 검출 방법을 구현하고 경계 영역들을 경계가 아닌 영역들과 상이하게 처리함으로써 공지된 방법에서 해결된다.
그러나, 공지된 방법은 많은 량의 계산력(computing power) 및 다소 복잡한 알고리즘(algorithm)을 필요로 한다.
무엇보다도, 본 발명의 목적은 상대적으로 신뢰 가능하고 정확한 깊이 추정치들을 제공하면서 상대적으로 적은 계산력을 필요로 하는 방법을 제공하는 것이다.
본 발명에 따르면, 적어도 이미지의 부분에 대하여, 이미지의 부분의 포인트들에 대하여, 매칭 윈도우들의 세트가 사용되고, 하나 이상의 후보 디스패러티 값이 각각의 포인트에 어트리뷰팅(attributing)되는 임시적인 깊이 맵(provisional depth map)을 제공하기 위하여 각각의 포인트에 대해 다수의 후보 디스패러티 값들이 계산되고, 그 후에, 이웃하는 포인트들에 대한 후보 디스패러티 값들로부터 상기 포인트로 포인팅하는 단위 벡터들의 합의 놈(norm)의 적어도 z-성분을 각각의 포인트에 대해 최소화함으로써 또 다른 깊이 맵이 계산된다.
공지된 방법은 '승자 독식(winner-takes-all)' 전략을 기초로 하는데, 즉, 각각의 포인트에 대하여, 단일의 가장 양호한 디스패러티 값이 계산된다. 이것은 높은 정확도를 필요로 하고, 이로 인해 많은 량의 계산력이 필요하다. 그렇다 하더라도, 정확도는 단지 거의 매칭 윈도우들의 특정한 선택인데, 즉, 특정한 문제가 매칭 윈도우들의 선택과 연관되는 경우에, 문제가 지속될 것이다.
본 발명에서, 상이한 접근법이 취해진다. 각각의 포인트에 대하여, 여러 개의 후보 디스패러티 값들이 초기에 매칭 윈도우들의 세트를 사용하여 계산된다.
본 발명자는 윈도우-기반 기술들에 대하여, 윈도우들의 적절한 선택이 중요하다는 것을 인식하였다. 이용된 매칭 윈도우의 크기가 큰 경우에, 이는 미세한 세부사항들의 손실 및 부정확한 경계들을 갖는 흐릿한 깊이 맵들을 발생시킬 것이다. 반면에, 작은 윈도우들을 사용하는 것은 양호하고 계산력을 감소시키면서, 노이즈(noise)의 경향이 있는 방법을 초래할 수 있다. 상대적으로 작은 윈도우들을 갖는 매칭의 결과는 노이지 깊이 맵(noisy depth map)들일 것이지만, 중요한 작은 이미지 피처들(features)을 포함할 것이다. 관심있는 포인트에 대한 디스패러티 값들로서 가장 낮은 SSD 또는 SDA 스코어(score)를 갖는 윈도우의 결과를 선택하는 멀티-윈도우 매칭(multi-window matching)에 대한 통상적인 접근법들 대신에, 본 발명에 따른 방법의 핵심적인 특성은 정규화 공간(regularizing space)으로서 후보들을 사용하는 디스패러티 추정치들의 재-계산이다. 각각의 포인트에 대하여, 여러 개의 후보 디스패러티 값들이 계산되는 임시적인 노이지 깊이 맵이 만들어진다. 이러한 계산에 대하여, 제한된 계산력만이 필요하다. 그 후, 각각의 포인트에 z-값을 제공하기 위하여 평탄화 동작(smoothing operation)이 수행된다.
'실제 디스패러티 값들'을 찾아내기 위하여 후보 디스패러티 값들의 평균 또는 중앙값(median)을 취하는 것은 유망한 결과들을 제공하지 않는 것으로 판명되었다. 그러나, 또 다른 깊이 맵의 재-계산에 대해 단위 벡터들을 사용하는 것이 양호한 결과들을 제공한다고 판명되었다. 본원의 이하에서 종종 국소적인 깊이 맵(local depth map)이라고 칭해지는 또 다른 깊이 맵은,(이웃 내의 및 상이한 중첩된(super-imposed)된 멀티-후보 데이터세트들로부터 나오는) 이웃하는 3D 포인트들로부터 포인트로 포인팅하는 단위 벡터들을 계산한 후에, 상기 포인트에서 이들 단위 벡터들의 합의 놈의 적어도 z-성분을 최소화하는 디스패러티를 찾아냄으로써 계산된다. 이것은 표면의 부분의 각각의 포인트에 대해 행해진다. "각각의 포인트"는 또 다른 깊이 맵이 만들어져야 하는 이미지의 부분의 포인트를 언급한다. 이미지의 부분에 대한 계산 내에서의 포인트들의 수는 통상적으로 픽셀들의 수와 등가일 것이고, 각각의 픽셀에 포인트가 어트리뷰팅된다. "각각의 포인트"는 무한한 수가 존재하는 수학적인 의미에서 '각각의 포인트'를 의미하는 것으로 오해되지 않아야 한다. 이웃(Neighboring)은 본 발명의 개념에서 관심있는 포인트 주위의 주어진 범위 이내를 의미한다.
바람직한 실시예들에서, 단위 벡터들의 합의 놈이 최소화된다. 관심이 주로 프론토-평행 표면들(fronto-parallel surfaces)을 복구하는데 있는 경우에, 단위 벡터들의 합의 놈의 z-성분만을 최소화하는 것이 적합한 절차일 수 있다.
더 복잡한 방법들에서, 이웃하는 포인트들의 단위 벡터들의 합의 놈의 모든 성분들이 최소화된다.
바람직하게는, 단위 벡터들의 합은 가중된 합이고, 계산 내에서 각각의 단위 벡터들에 대한 가중치는 관심있는 포인트까지의 거리의 함수이다. 이것은 정확도를 개선시킬 것이다. 관심있는 포인트의 디스패러티 값은 관심있는 포인트로부터 더 멀리 떨어진 포인트들보다는 부근의 이웃하는 포인트들의 디스패러티 값과 더 유사할 것이다.
바람직하게는, 매칭의 세트는 관심있는 포인트가 매칭 윈도우에 대하여 편심적으로 위치되는 하나 이상의 매칭 윈도우들을 포함한다. 정사각형 블록들(square blocks)이 매칭 윈도우들에 대한 가장 통상적으로 사용되는 형상들이지만, 매칭 윈도우들에 대해 편심적으로 위치된 형상들이 수평 및 수직 에지들과 같이 특정한 이미지 피처들 상에서의 로킹(locking)에 더 적합하다. 그들이 이미지 내의 관심있는 포인트에서 중심에 있지 않다는 사실은 윈도우들 중 적어도 하나가 폐색 경계들(occluding boundaries) 주위에 더 매칭되도록 한다.
바람직하게는, 평균으로부터의 문턱치보다 더 많이 상이한 단위 벡터들을 계산으로부터 삭제하기 위하여 검사가 수행된다. 그 후, 비정상 후보 디스패러티 값들, 즉, 어떤 계산적인 에러로 인하여 정상적인 범위 훨씬 밖에 있는 후보 디스패러티 값들이 결과에 부정적인 영향을 주지 않을 것이다. 문턱치들은 고정된 값이거나, 다른 값들을 기초로 하여 계산되거나, 또는 스프레드 계산(spread calculation)과 관련될 수 있다.
바람직하게는, 매칭 윈도우들의 세트는 실질적으로 직교하는 매칭 윈도우들의 세트이다. 실질적으로 직교하는 매칭 윈도우들은 윈도우들 사이의 픽셀들에서의 오버랩(overlap)이 윈도우 당 픽셀들의 수의 1/4보다 더 적은 매칭 윈도우들이다.
바람직한 실시예들에서, 매칭 윈도우들의 수는 4개이고, 매칭 윈도우들은 크로스(cross)를 형성한다. 크로스는 양호한 결과들을 제공하기 위하여 제시되었던 간단한 배열이다.
또 다른 바람직한 실시예에서, 매칭 윈도우들의 수는 8개이고, 상기 윈도우들은 2개의 포섬들(foresomes)로 이루어지고, 하나의 포섬은 크로스를 각각 형성하는, 다른 포섬 내의 윈도우들의 좌측 또는 우측 버전이다. 매칭 윈도우들의 하나의 포섬을 사용하는 것은 약간의 좌측 대 우측 또는 우측 대 좌측 바이어스(bias)를 도입할 수 있다. 2개의 포섬들을 사용함으로써, 이 바이어스는 제거될 수 있다.
또 다른 실시예에서, 매칭 윈도우들은 실질적으로 삼각형이다.
본 발명의 이들 및 다른 유용한 양태들이 다음 도면들을 사용하여 더 상세히 설명될 것이다.
도 1은 이미지의 부분 및 2개의 방향들의 기하구조를 도시한 도면.
도 2는 이미지의 부분의 이미지를 도시한 도면.
도 3a는 깊이 맵을 만드는 방법의 흐름도.
도 3b는 본 발명에 따른 방법의 부분을 도시한 도면.
도 4는 라인을 따라 일차원으로 결과적인 임시적인 깊이 맵을 도시한 도면.
도 5는 본 발명의 방법 내의 부가적인 단계를 도시한 도면.
도 6은 종래 기술에서 설명된 바와 같은 매칭 윈도우들의 세트를 도시한 도면.
도 7 내지 도 13은 본 발명의 방법에 유용한 매칭 윈도우들의 세트들의 다양한 실시예들을 도시한 도면.
도 14는 본 발명에 따른 방법을 도시한 도면.
도 15 및 도 16은 본 발명에 따른 디바이스들을 도시한 도면.
도 17은 본 발명에 따른 방법의 결과들을 도시한 도면.
도 18a 내지 도 18d는 본 발명에 따른 방법의 결과들을 더 도시한 도면.
도면들은 일정한 비율로 도시되어 있지는 않다. 일반적으로, 도면들에서 동일한 구성요소들에는 동일한 참조 번호들이 병기되어 있다.
도 1은 이미지(10)의 부분 및 2개의 방향들(12a,b)의 기하구조를 도시한 도면이다. 이미지의 부분은 예를 들면, 사람, 또는 이미지 내의 임의의 오브젝트일 수 있다. 본 발명은 이미지에 대한 깊이 맵을 제공하기 위한 방법에 관한 것이다. 깊이 맵은 z-값, 즉 깊이 값을 오브젝트들의 포인트들에 어트리뷰팅하는 것으로서 간주될 수 있다. 이미지(10)의 부분을 포함하는 장면의 이미지들이 상이한 방향들(12a,b)로부터의 포인트 프로젝션(point projection)을 사용하여 획득될 때, 이미지의 부분 상의 포인트(14, 15)가 이미지에서 보여질 위치는 포인트들(14, 15)의 프로젝션들(16a,b, 17a,b)이다. 프로젝션들은 포인트들(14, 15)로부터 방향들(12a,b)을 통하여 이미지 플레인(18)까지의 그림선들(19a 내지 19d)에 의해 도시될 수 있다. 기본적인 원리들을 설명하기 위하여, 방향들(12a,b)은 이미지 플레인(18)에 평행한 플레인에서 선택되었지만, 본 발명은 방향들(12a,b)의 이러한 선택으로 제한되지 않는다. 이들 라인들(19a 내지 19d) 및 이미지 플레인(18) 사이의 교차점들은 이미지(10)의 부분의 포인트들(14, 15)이 이미지들에서 보여질 위치들을 설명한다.
뷰포인트(12a,b)의 변화가 이미지의 부분 상의 포인트(14, 15)가 이미지 플레인(18)에서 보여질 위치(16a,b, 17a,b)의 변환을 발생시킨다는 점을 주의해야 할 것이다. 이 변환은 뷰포인트와 포인트 사이의 깊이("z")에 반비례하고, 뷰포인트의 위치의 변화량에 비례한다. 결과적으로, 변환은 방향들(12a,b)로부터 상이한 깊이들("z")을 가지는 이미지(10)의 부분의 포인트들(14, 15)에 대해 상이할 것이다.
도 2는 이미지의 부분이 보여지는 영역(22)을 포함하는 이미지(20)를 도시한 도면이다. 이미지(20)에서, 이미지(20)에서 보여지는 이미지의 부분의 포인트들이 뷰포인트의 이동에 응답하여 변환될 위치들에 의해 변환 벡터들(23a,b, 25a,b)이 도시되어 있다. 변환 벡터들(23a,b, 25a,b)이 뷰포인트로부터 더 먼 포인트들에 대해서보다 뷰포인트에 더 가까운 이미지의 부분의 포인트들에 대해서 더 클 것이라 는 점이 주의될 것이다. 모든 포인트들의 깊이가 동일한 라인(26)을 따라서, 변환들은 동일할 것이다.
라인(26)을 따른 축 및 그 라인에 수직인 축을 가지는 좌표 시스템을 사용할 때, 포인트가 보여지는 위치의 변환 "D"의 진폭(amplitude)은 A+Bu에 비례할 것이고, 여기서 u는 라인(26)에 수직인 축을 따라 포인트가 보이는 위치의 좌표이다. 변환의 방향은 뷰포인트의 이동 방향과 반대이다. 파라미터 "A"는 u=0에서 깊이 "Z0"의 역에 비례한다: A=c/Z0이고, "B"는 유사하게 그 깊이 및 뷰잉의 방향에 수직인 이미지의 부분의 기울기 "s"에 비례한다: B=c*s/Z0(c는 뷰포인트의 변위, 이미지의 스케일 및 초점 거리에 정비례하는 프로포셔낼리티(proportionality)이다). 도 1 및 도 2는 2개의 카메라들이 사용되는 상황을 도시한다. 깊이 맵을 결정하기 위하여, 2개 이상의 카메라들이 사용될 수 있다. 2개 이상의 카메라들을 사용하는 것은 정확도를 증가시키고, 배경 오브젝트들이 전경에서의 오브젝트들에 의해 폐색된다.
도 3a는 이미지에 대한 또는 적어도 이미지의 부분에 대한 깊이 맵을 만들기 위한 방법의 부분의 흐름도를 개략적으로 도시한 도면이다.
흐름도의 제 1 및 제 2 단계(31, 32)에서, 카메라 옵틱들(camera optics)은 제 1 및 제 2 이미지가 각각 획득되는 제 1 및 제 2 뷰포인트에 각각 위치된다.
흐름도의 제 3 단계(33)에서, 제 1 이미지에서의 픽셀이 선택된다. 제 4 단계(34)에서, 상기 픽셀에 대하여, 매칭 윈도우들을 사용하여 이미지들 사이에 매치(match)가 발견된다.
흐름도의 단계(35)에서, 단계(34)의 결과들, 즉, 윈도우들의 매치를 사용하여 상기 픽셀에 z-값이 어트리뷰팅된다. 공지된 방법들에서, 승자 독식 원리에 따라 단일의 '가장 양호한' z-값이 각각의 픽셀에 할당되는데, 즉, 가장 양호한 매치가 탐사되고(sought), 이는 디스패러티 값(=z-값)을 확립한다. 고레벨의 신뢰를 제공하기 위하여, 정확도가 높아야 하고, 이는 다소 큰 매칭 윈도우들의 선택을 초래한다. 그러나, 이러한 상대적으로 큰 매칭 윈도우는 그들의 크기로 인하여 작은 세부사항들을 포착할 수 없다.
도 3b는 본 발명에 따른 방법의 부분을 도시한 도면이다.
관심있는 포인트에 하나의 디스패러티 값을 제공하기보다는 오히려, 상대적은 작은 편심적인 매칭 윈도우들이 다수의 후보 디스패러티 값들(z-값1, z-값2, z-값3, 등)을 각각의 포인트에 제공하기 위하여 사용된다. 임의의 포인트에 대해 최종적인 결정이 행해지지 않는다; 하나 이상의 후보 디스패러티 값이 각각의 포인트에 어트리뷰팅된다. 결합된 모든 후보 디스패러티 값들이 노이지 깊이 맵을 제공한다.
도 4는 라인을 따라 후보 디스패러티(즉, z-값)가 도시되어 있는 일차원으로 결과적인 임시적인 깊이 맵을 도시한 도면이다. 이 예에서, 2개의 상이한 컬러들(colors)에 대한 디스패러티 값들이 계산된다. 2개의 상이한 값들은 채워진 원 및 개방 원으로 개략적으로 도시되어 있다.
도 5는 본 발명의 방법에서의 다음 단계를 도시한 도면이다.
노이지 샘플들로부터 포인트에 대한 실제 깊이, 즉 실제 디스패러티 값을 추 정하기 위하여, 도 5에 도시된 바와 같은 방식이 사용된다. 각각의 픽셀에 대하여, 재구성된 샘플들로부터 후보 포인트로 포인팅하는 단위 벡터들의 합의 놈을 최소화하는 깊이 값이 계산된다. 깊이 값이 표면으로부터 먼 경우에, 이들 벡터들의 합의 놈은 크지만(a), 표면에 부딪칠 때, 최소이거나 최소 부근이라는 것이 예측된다. 본 설명의 프레임워크(framework) 내에서, 이것은 또한 '표면 필터(surface filter)'라 칭해지는데, 즉, 임시적인 노이지 깊이 맵에 대해 특정한 필터링이 수행된다. 임시적인 노이지 깊이 맵은 방법이 사용되는 이미지의 부분 내의 각각의 포인트에 대해 여러 개의 후보 디스패러티 값들을 포함한다. 단위 벡터들의 합은 본질적으로 벡터이다.
벡터의 놈은 수학적으로 이 벡터의 "세기(strength)"로서 이해될 수 있다. 본 발명의 방법에서, 모든 이들 단위 벡터들의 합인 이 벡터의 세기는 최소화된다. 표면 맵은 이 세기가 낮은 경우에 도달된다. 벡터의 세기를 측정하는 여러 개의 방식들이 지금 존재하는데, 가장 일반적인 것이 Lp-놈이고, 이는 다음 방정식에서 설명된다:
Figure 112009019677755-PCT00001
특정한 경우들은 다음이다:
- L2 또는 유클리드 놈(Euclidean norm)(p=2):
Figure 112009019677755-PCT00002
- L1 놈(p=1):
Figure 112009019677755-PCT00003
- 그리고, L∞라 칭해지는 극한은
Figure 112009019677755-PCT00004
로서 규정된다.
수학적으로, 장소(i) 주위의 작은 이웃(N) 내의 단위 벡터들의 합의 L-1 놈은 디스패러티(di)에 대해 최소화된다(이하에 L-1 놈이 주어진다):
Figure 112009019677755-PCT00005
(1)
상기 Pi=(Pi x, Pi y, Pz(di))는 최적화되어야 하는 디스패러티 값(di)에 대응하는 재구성된 포인트이고(우리가 규칙적인 그리드(grid) 상에 있기 때문에, z-성분만이 di에 따른다), Pj=(Pj x, Pj y, Pj z)는 상이한 윈도우 구성들에 의해 추정된 디스패러티에 대응하는 재구성된 포인트들이다. 상기 이웃(N)의 크기는 작게 유지될 수 있는 반면, 표면 추출은 상이한 깊이 추정기들(상이한 윈도우 매칭 구성들)로부터 나오는 리던던시(redundancy) 때문에 로버스트(robust)하게 유지된다. 우리가 주로 프론토-평행 표면들을 복구하는데 관심이 있는 경우에, 우리는 계산적으로 더 적은 (1)의 z-성분만을 최소화할 수 있다.
이웃(N)은 또한 포인트들에 가중치들을 어트리뷰팅함으로써 설정될 수 있고, 여기서 가중치는 포인트들 사이의 거리의 함수이다.
Figure 112009019677755-PCT00006
여기서 W(Pi)는 거리가 증가함에 따라 값이 감소하는, 포인트들(Pi) 및 포인트(P) 사이의 거리의 함수이다.
계산은 표면의 각각의 포인트에 대해 행해진다. 계산에서 몇 개의 포인트들이 존재하는지는 통상적으로 픽셀들의 수와 동일할 것인데, 즉, 포인트가 각각의 픽셀에 어트리뷰팅되고, 포인트에 대하여, z-값이 단위 벡터들의 합의 놈을 최소화함으로써 계산된다. 이는 계산을 상대적으로 용이하게 한다.
이것은 디스패러티 값들에 스무딩 필터링 영향(smoothing filtering effect)을 미칠 것이다. 관심있는 포인트들 주위의 포인트들의 범위가 사용되기 때문에, 이것은 본 발명의 프레임워크 내에서 표면 필터라 칭해진다.
완전함을 위하여, 또한 사용될 수 있는 L-2 놈이 또한 주어진다:
Figure 112009019677755-PCT00007
L-2 놈={S2(di)}1/2
부가적인 실시예에서, 이미지 제약이 사용된다.
디스패러티들을 로버스트하게 추출하지만, 깊이 불연속성들의 오버-스무딩(over-smoothing)을 피하기 위하여 표면 필터가 도시될 수 있고, 작은 세부사항들의 더 양호한 복구를 위하여, 우리는 또한 이미지-매칭 제약을 포함한다. 이 용어에 대하여, 우리는 임의의 국소적 이미지 유사성 기준을 사용할 수 있다. 예를 들면, 우리는 매우 작은 윈도우에 대하여 SSD를 이용할 수 있다. 국소적으로 최소화되는 최종적인 기준은:
E(i) = S(di) + λ.SSD(di) (2)이고,
여기서, λ는 스무드한 디스패러티 에어리어들(areas) 추출을 정확한 경계 복구와 균형을 맞추는 팩터(factor)이다. 최소와 최대 허용 이산 디스패러티 값들 사이를 간단히 스캐닝하고 E(i)를 최소화하는 디스패러티를 찾아냄으로써 최적화가 수행된다.
어떤 의미에서, 이것은 포인트에 대한 SSD의 조합 및 이웃하는 포인트들로부터의 단위 벡터들의 합의 놈을 최소화하는 결합된 방법으로서 간주될 수 있다. 단위 벡터들의 합의 놈이 최소화되지만, 합의 놈 더하기 포인트에서의 SSD에 의해 주어진 E(i)가 최소화되는 제약 상에서 최소화된다.
도 6은 인용된 종래 기술 논문에서 설명된 바와 같은 매칭 윈도우들의 세트를 도시한 도면이다. 25개의 윈도우들이 사용되고, 각각의 윈도우는 25개의 픽셀들을 포함한다. "관심있는 포인트"라고 칭해지는 z-값이 결정되고 있는 픽셀(61)은 흑색 정사각형으로 표현된다. 5*5 픽셀들의 표준 매칭 윈도우가 사용되고, 관심있 는 픽셀이 표준 윈도우의 모든 포인트에 걸쳐 스캐닝된다. 이것은 25개의 매칭 윈도우들(62)을 제공한다. 도 6에서, 이들 25개의 매칭 윈도우들은 회색 정사각형들의 5*5 에어리어들로 표현된다. 많은 량의 계산들이 수행되어야 할 것이다.
도 7은 본 발명의 방법 및 디바이스에서 사용되는 바와 같은 매칭 윈도우들의 세트를 도시한 도면이다.
도 7의 예에서, 실질적으로 직교적으로 지향된 4개의 직사각형 5*2 매칭 윈도우들의 세트가 사용된다. 매칭 윈도우들 사이의 오버랩은 작다.
도 8은 윈도우들의 세트의 또 다른 예를 도시한 도면이다.
도 9는 본 발명에 따른 방법 및 디바이스에서 사용된 윈도우들의 세트의 또 다른 예를 도시한 도면이다. 이 경우에, 4개의 매칭 윈도우들의 2개의 세트들이 사용된다.
도 10은 본 발명에 따른 방법 및 디바이스에서 사용된 윈도우들의 세트의 또 다른 예를 도시한 도면이다.
도 11은 또 다른 예를 도시한 도면이다.
도 12 및 도 13은 본 발명의 또 다른 실시예를 도시한다. 후자의 예들에서, 8개의 삼각형 윈도우들의 세트가 사용된다.
매칭 윈도우들의 도시된 예들 중 어느 것도 정사각형이 아니라는 점이 주의된다. 바람직하게는, 매칭 윈도우들은 비-정사각형인데, 그 이유는 직사각형 또는 삼각형 매칭 윈도우들과 같은 비-정사각형 형상의 윈도우들이 (도 11에 도시된 바와 같은 삼각형 또는 사각형 매칭 윈도우들에 대한) 수평 및 수직 에지들 또는 (삼 각형 매칭 윈도우들에 대한) 45도의 에지들과 같은 특정한 이미지 피처들 상에서의 로킹에 더 적합하기 때문이다.
도 7, 도 8 및 도 9에 도시된 예들은 실질적으로 직사각형 형상의 매칭 윈도우들을 도시한다. 상기 윈도우들은 서로 직교적으로 방향이 맞춰지고, 함께 크로스-형상(cross-shape)을 형성한다. 이들 매칭 윈도우들은, 도 9에 도시된 매칭 윈도우들도 마찬가지로, 수직 및 수평 방향을 따른 에지들을 도시한다. 수직 및 수평 방향으로 방향이 맞춰진 이러한 직사각형 형상의 매칭 윈도우들이 가장 바람직하다.
바람직하게는, 매칭 윈도우들은 동일한 형상을 갖고 형상들의 포섬들을 형성하고, 여기서 형상은 방향이 맞춰지고, 각각의 매칭 윈도우의 형상들은 또 다른 매칭 윈도우의 형상과 관련되고, 매칭 윈도우들 중 또 다른 윈도우의 90, 180 또는 270도 회전에 의해 획득될 수 있다. 도 7 내지 도 13의 세트들은 이러한 배열들을 도시하고, 여기서 매칭 윈도우들의 각각의 세트는 다른 형태들을 제공하기 위하여 90, 180 또는 270도만큼 회전되는 하나(도 7, 도 8, 도 9 및 도 10) 또는 2개(도 9, 도 12)의 기본적인 방향이 맞춰진 형태들로부터 도출된다. 이러한 배열은 용이한 계산들을 제공한다. 바람직하게는, 밸런스(balance)는 디스패러티 후보들을 생성하기 위해 직교 방향들로 서로 방향이 맞춰지는 작은 상대적으로 얇은 매칭 윈도우들을 이용함으로써 계산된다.
이 방식은 임시적인 깊이 맵을 기초로 하여 또 다른 깊이 맵을 제공한다.
계산은 다수의 바람직한 세련들(refinements)에 의하여 더 최적화될 수 있 다:
- S(D)의 계산에서, 평균으로부터의 문턱치보다 더 많이 상이한 그들 단위 벡터들을 S(D)의 계산으로부터 삭제하기 위하여 검사가 수행된다. 그 후, 비정상 후보 디스패러티 값들, 즉, 어떤 계산적인 에러로 인한 후보 디스패러티 값들이 결과에 부정적인 영향을 주지 않을 것이다. 문턱치들은 고정된 값이거나 다른 값들을 기초로 하여 계산되거나 또는 스프레드 계산과 관련될 수 있다.
- 잘못된 매치들을 거부하고 폐색된 영역들을 검출하기 위하여 상이한 방식들이 가능하다. 간단한 방식은 직접적인 좌측-우측/우측-좌측 일관성 검사이다. 이것은 획득된 대응들(correspondences)의 유일성(uniqueness)을 보장할 것이고, 폐색 에어리어들의 라벨링(labeling)을 허용한다.
- 이미지-기반 포스트-처리(Image-Based Post-processing)
아웃라이어 거부(outlier rejection) 및 폐색 검출은 또 다른 깊이 맵에서 홀들, 즉, 디스패러티 값이 존재하지 않는 에어리어들을 생성할 것이다. 아웃라이어 거부 및 폐색 검출 단계들로부터 기인한 홀들을 충전하기 위하여, 우리는 컬러-기반 평균화를 사용한다. 이것은 우리의 장소에서의 컬러(Ri, Gi, Bi)에 가까운 컬러 픽셀들에 대응하는 디스패러티들의 (국소적 이웃 내에서의) 평균을 계산하는 것으로 이루어진다. 다음과 같이 홀에서의 장소(i)에서 깊이를 재-계산하기 위하여 비-선형 필터가 사용될 수 있다:
Figure 112009019677755-PCT00008
ΔC = │Ri-Rj│+│Gi-Gj│+│Bi-Bj│<Tc 인 경우에, wij =1
그 밖의 경우에, wij = 0
상기 Tc는 컬러 차이 문턱치이다.
Figure 112009019677755-PCT00009
에 대하여, 구(old) 깊이 값이 유지된다.
이 필터는 반복적으로 사용될 수 있고, 깊이 맵들의 경계들을 대응하는 컬러 이미지의 경계들과 재-정렬시키는 장점을 갖고, 이는 3D 렌더링 애플리케이션들(rendering applications)에 매우 중요하다. 컬러 차이 문턱치를 포함시키는 선택은 실제 이미지 불연속성들을 매칭시키는 샤프(sharp)한 깊이 불연속성들을 가지고자 하는 요구에 의해 표현된다. 실제로, 이 선택은 양호하게 동작하는 것으로 판명되었다.
도 14는 본 발명에 따른 방법을 더 상세히 도시한 도면이다.
도 14는 4개의 모듈들(141 내지 144)을 도시하고; 처음의 2개의 모듈들(141 및 142)은 본 발명의 가장 넓은 범위에서 본 발명의 방법의 부분이다. 최종적인 2개의 모듈들(143 및 144)은 바람직한 실시예들의 부분이고, 선택적이다.
좌측 및 우측 이미지 데이터, 또는 이미지들이 2개 이상의 뷰포인트들로부터 찍히는 경우에, 다양한 관점들로부터의 이미지 데이터가 제 1 모듈(141)에 제공된 다. 이 모듈에서, 윈도우 기반 매칭을 사용하여 임시적인 깊이 맵이 발생된다. 각각의 포인트에 대한 하나 이상의 후보 디스패러티 값을 포함하는 이 임시적인 깊이 맵은, 표면 필터 모듈(142)로 전송된다. 표면 필터 모듈은 이웃하는 포인트들에 대한 후보 디스패러티 값들로부터 상기 포인트로 포인팅하는 단위 벡터들의 합의 놈의 적어도 z-성분을 최소화함으로써 임시적인 깊이 맵에 표면 필터를 적용한다. 이것은 또 다른 깊이 맵을 제공한다. 선택적인 부가적인 모듈들(143 및 144)은 아웃라이어/폐색 검출 및 후속 홀 충전을 제공한다. 최종 생성물은 최종적인 깊이 맵이다.
본 발명에 따른 디바이스는 상이한 방향들로부터 획득된 이미지 데이터를 입력하기 위한 입력부 및 이미지의 포인트에 대한 윈도우-기반 매칭을 사용하여 입력부에 의해 수신된 이미지 데이터로부터 임시적인 깊이 맵을 결정하기 위한 디터미네이터(determinator)(141)를 포함하고, 디터미네이터에서, 포인트들에 대한 후보 디스패러티 값들을 생성하기 위해 이미지의 포인트에 대해 매칭 윈도우들의 세트가 사용되고, 세트의 매칭 윈도우들은 포인트들에 대하여 편심적으로 위치되고, 디바이스는 이웃하는 포인트들에 대한 후보 디스패러티 값들로부터 상기 포인트로 포인팅하는 단위 벡터들의 합의 놈의 적어도 z-성분을 각각의 포인트에 대해 최소화함으로써 임시적인 깊이 맵을 기초로 하여 또 다른 깊이 맵을 제공하기 위해 구성된 표면 필터(142)를 더 포함한다.
도 15는 본 발명에 따른 디바이스를 도시한 도면이다. 도 15에서 입방체로 표현된 오브젝트의 이미지들이 2개의 카메라들에 의해 찍힌다. 이 예에서, 2개의 카메라가 도시되어 있지만, 디바이스는 2개 이상의 카메라들을 포함할 수 있다. 카메라들은 컬러 이미지들, 또는 흑백 이미지들 또는 X-레이 이미지들 또는 적외선 이미지들을 기록할 수 있다. 카메라 각각은 2개의 데이터 세트들을 제공하고, 각각의 데이터 세트는 도면에서 D1(x1, y1) 및 D2(x2, y2)로 도시된 2차원 이미지, 즉 2개의 이차원 데이터 세트들을 표현한다. 카메라들은 상이한 방향들로부터 이미지들을 찍는다. 디바이스는 상이한 방향들로부터 찍힌 이미지들을 입력하기 위한 입력부(I) 및 디터미네이터(141)를 포함한다. 디터미네이터 내에서, 이미지들은 본 발명에 따른 매칭 윈도우 방법을 사용하여 매칭된다. 디터미네이터는 표면 필터(142)로 전송되는 임시적인 깊이 맵을 제공한다. 표면 필터(142)는 또 다른 깊이 맵을 제공한다. 이 또 다른 깊이 맵은 아웃라이어 거부/폐색 검출 및 이미지 기반 홀 충전에 의해 더 개선될 수 있다.
어트리뷰터(attributor)(151)에서, 또 다른 또는 최종적인 깊이 맵을 사용하여 z-값이 상기 픽셀에 어트리뷰팅된다. 바람직하게는, 카메라들로부터의 데이터는 카메라들의 상호 방향에 대한 데이터를 포함하고, 디터미네이터가 카메라의 상호 방향을 결정하기 위한 수단을 갖거나, 카메라들이 이러한 상호 방향을 디터미네이터에 전달하기 위한 수단을 포함하거나, 디터미네이터가 (예를 들어, 손으로) 이러한 수단을 입력하기 위한 수단을 포함하거나, 또는 상호 방향이 공지되도록 카메라들의 셋-업(set-up)이 고정된다. 카메라들에 의해 이미지들을 찍는 것은 바람직하게는 동기화된다. 장치는 출력부(OP)을 갖는다. 출력 데이터 스트림(D(x,y,z))은 포인트들의 x 및 y 좌표 둘 모두 뿐만 아니라, z-좌표, 즉, 깊이 맵을 포함하는 데 이터 스트림이다. 이 출력 데이터 스트림(D(x,y,z))은 예를 들면, DVD 데이터 캐리어(carrier) 또는 임의의 다른 데이터 캐리어 상에 데이터 스트림을 기록하기 위하여 기록 디바이스에 전송되거나, 또는 3차원 이미지들을 디스플레이하기 위한 3차원 디스플레이 디바이스에 전송될 수 있다.
도 15는 카메라들과 같은 기록 디바이스들을 포함하는 디바이스를 도시한 도면이다.
도 16은 데이터(D1(x1, y1) 및 D2(x2, y2)) 뿐만 아니라, 카메라들의 상호 방향에 대한 데이터(D(cam1, cam2))가 저장되는, 예를 들면, DVD와 같은, 데이터 캐리어에 대한 입력부를 갖는 디바이스를 도시한 도면이다. 본 발명에 따른 디바이스는 데이터를 판독하고 출력 데이터 스트림(D(x, y, z))을 제공한다.
본 발명에 따른 디바이스의 바람직한 실시예들은 방법의 상술된 바람직한 실시예들, 예를 들면, 매칭 윈도우들 또는 비-정사각형 중 임의의 하나 또는 임의의 조합에 따라 깊이 맵을 결정하기 위한 수단을 포함한다.
본 발명에 따른 디바이스는 이미지들을 기록하기 위한 수단을 포함할 수 있는데, 즉, 디바이스는 이미지들을 찍는 카메라들을 포함할 수 있고, 카메라들은 이미지에 대한 데이터를 상술된 입력부로 전송한다. 디바이스는 기록 디바이스들로부터 데이터를 또한 수신할 수 있다.
본 발명의 개념 내에서, "디터미네이터" 필터, 등이 광범위하게 이해되어야 하고, 이하에 주어진 예시적인 실시예들로 제한됨이 없이, 예를 들면, 상술된 바와 같은 결정, 선택 또는 매칭 기능을 수행하기 위해 설계된(디터미네이터와 같은) 하 드웨어의 임의의 피스(piece), 임의의 회로 또는 서브-회로, 뿐만 아니라, 본 발명에 따른 결정, 선택 또는 매칭 동작을 수행하도록 설계되거나 프로그래밍된 소프트웨어의 임의의 피스(컴퓨터 프로그램 또는 서브 프로그램 또는 컴퓨터 프로그램들의 세트, 또는 프로그램 코드(들)), 뿐만 아니라, 단독으로 또는 결합하여 동작하는 하드웨어 및 소프트웨어의 피스들의 임의의 조합을 포함하여야 하는 점이 주의된다. 하나의 프로그램이 여러 기능들을 결합할 수 있다.
도 17은 본 발명에 따른 방법의 결과들을 도시한 도면이다.
성능 평가를 위하여, 우리는 정지 쌍(still pair)에 대해 우리의 알고리즘을 실행한다(도 17). 처음의 2개의 이미지들은 좌측 및 우측 이미지들이고, 마지막 도면은 깊이 맵의 아이디어(idea)를 주고, 여기서 그레이 값(grey value)은 깊이의 표시이다. 결과들은 낮은-텍스처링된 에어리어들(low-textured areas) 내에서의 추출 깊이 및 깊이 불연속성들에서의 높은 정확도 둘 모두에서 매우 양호한 성능을 나타낸다. 낮은-텍스처링된 에어리어 내에서의 깊이의 로버스트한 복구는 로버스트한 표면 필터의 사용 및 다수의 후보들로부터 나오는 리던던시에 의해 허용되고, 표면의 암시적인 모델의 사용이 또한 중요한 팩터였다. 좌측으로부터 우측으로, 그리고 우측으로부터 좌측으로 깊이의 로버스트니스(robustness)가 추정되면, 일관성을 검사함으로써 아웃라이어 거부가 또한 양호하게 수행되고, 대부분의 폐색되거나 실질적으로 텍스처링되지 않은 에어리어들이 검출된다. 최종적으로, 이미지-기반 포스트-처리 단계는 매우 간단할지라도, 적절한 갭 충전 및 경계 재정렬 둘 모두를 허용한다. 이미지 시퀀스들(image sequences)에 대한 테스트들은 본 발명에 따른 알고리즘이 높은 품질 깊이 및 양호한 시간 일관성 둘 모두를 제공한다는 것을 나타냈지만, 이러한 시퀀스들에 대하여, 선도하는 최적화-구동 기술들은 수렴이 국소적이므로 초기화가 결정적인 경우에, 덜 안정적이라고 판명되었다. 본 발명의 또 다른 장점은 유연한 구현을 허용하고 실시간 성능을 발생시킬 최적화 절충들(optimization compromises)을 허용하는 시스템의 모듈식 특성이다.
도 18a 내지 도 18d는 본 발명을 또한 도시한 도면들이다.
도 18b에서, 도 7에 도시된 바와 같은 4개의 상이한 작은 얇은 윈도우들(수평 윈도우들을 갖는 좌측 윈도우들 및 수직 윈도우들을 갖는 우측 윈도우들)을 사용하는 도 18a의 좌측(L)-우측(R) 이미지 쌍의 스테레오 매칭의 결과들이 도시되어 있고, 획득된 임시적인 깊이 맵들은 예상된 바와 같이 매우 노이지하다. 중앙값 필터링의 결과가 도 18c에 도시되어 있고, 도 18d에서 본 발명의 표면 필터의 결과와 비교된다. 따라서, 도 18d는 본 발명에 따른 방법에 의해 만들어진 또 다른 깊이 맵을 도시한다. 중앙값 필터가 깊이 맵을 오버-스무딩하여 미세한 세부사항들의 손실을 초래할 것이라는 점이 명백하다. 예를 들면, 램프 상에서, 도 18c에 존재하는 것보다 더 많은 세부사항들이 도 18d에서 보여진다. 따라서, 표면 필터는 노이즈를 제거하면서, 한편으로는 오리지널 깊이 맵들로부터 더 많은 정보를 복구한다. 이미지-기반 포스트-처리 이후의 최종적인 결과들이 중앙값 필터 및 표면 필터에 대하여 개선된다. 또 다른 깊이 맵 및 최종적인 깊이 맵이 그라운드 트루쓰(ground truth)와 비교될 때, 표면 필터는 중앙값 필터보다 15% 더 적은 "불량 픽셀들"을 갖는다.
요약하면, 본 발명은 다음과 같이 설명될 수 있다:
상이한 방향들로부터 획득된 이미지들로부터 깊이 맵을 결정하기 위하여 윈도우 기반 매칭이 사용된다. 깊이가 결정되어야 하는 이미지의 포인트들에 대하여 매칭 윈도우들의 세트가 사용된다. 하나 이상의 후보 디스패러티 값이 각각의 포인트에 어트리뷰팅되는 임시적인 깊이 맵이 생성된다. 임시적인 깊이 맵은 단위 벡터들의 합의 놈의 적어도 z-성분이 이웃하는 포인트들에 대한 후보 디스패러티 값들로부터 관심있는 포인트로 포인팅하는 표면 필터를 사용하여 필터링된다.
본 발명은 본 발명에 따른 방법 또는 디바이스를 위한 임의의 컴퓨터 프로그램 제품으로 또한 구현된다. 컴퓨터 프로그램 제품 하에서, (중간 언어, 및 최종적인 처리 언어로의 변환과 같은 중간 변환 단계들을 포함할 수 있는) 일련의 로딩 단계들 이후에, 처리기(processor)(범용 또는 특수용)가 처리기 내로 명령들을 행하고, 본 발명의 특징적인 기능들 중 임의의 하나를 실행할 수 있도록 하는 명령들의 집합체(collection)의 임의의 물리적인 구현이 이해되어야 한다. 특히, 컴퓨터 프로그램 제품은 예를 들면, 디스크 또는 테이프와 같은 캐리어 상의 데이터, 메모리에 존재하는 데이터, 네트워크 접속(유선 또는 무선)을 통하여 이동하는 데이터, 또는 종이 위의 프로그램 코드로서 구현될 수 있다. 프로그램 코드 이외에, 프로그램에 필요한 특징적인 데이터가 컴퓨터 프로그램 제품으로서 또한 구현될 수 있다.
데이터 입력 및 출력 단계들과 같은, 방법의 동작에 필요한 단계들 중 일부는 컴퓨터 프로그램 제품에서 설명되는 대신에, 처리기의 기능성에 이미 존재할 수 있다.
상술된 실시예들이 본 발명을 제한하기보다는 오히려 설명하고, 당업자들이 첨부된 청구항들의 범위를 벗어남이 없이 많은 대안적인 실시예들을 설계할 수 있을 것이라는 점을 주의해야 한다.
청구항들에서, 괄호들 내에 배치된 임의의 참조 부호들은 청구항을 제한하는 것으로 해석되어서는 안될 것이다.
본 발명의 프레임워크 내에서, 많은 변형들이 가능하다는 것이 명백할 것이다. 본 발명이 특히 상기에 도시 및 설명되었던 것에 의해 제한되지 않는다는 것이 당업자들에 의해 인식될 것이다. 본 발명은 각각의 그리고 모든 신규한 특징적인 특성 및 특징적인 특성들의 각각의 그리고 모든 조합에서 존재한다. 청구항들에서의 참조 번호들은 청구항들의 보호 범위를 제한하지 않는다.
예를 들면, 방법이 이미지의 부분에만 사용될 수 있거나, 본 발명의 방법의 상이한 실시예들이 예를 들면, 이미지의 에지들에 대해서는 또 다른 실시예를 사용하면서, 이미지의 중앙에 대해서 하나의 실시예를 사용하여, 이미지의 상이한 부분들에 대해 사용될 수 있다.
또한, 예들에서, 3차원의 단위 벡터들, 즉, 3개의 좌표들인 x, y, 및 z 좌표를 가지는 단위 벡터들이 사용된다. 더 높은 차원의 벡터들이 사용될 수 있다:
일례가 공간 좌표들:(Px, Py, Pz) 및 연관된 레드(red), 그린(green) 및 블루(blue) 컬러 값들: (Pr, Pg, Pb)를 포함하여 증대된 벡터(Px, Py, Pz, Pr, Pg, Pb)를 발생시키는 6차원 벡터의 사용이다. 이 경우를 사용하면, 우리는 이제 L-1 놈에 대 한 기준을 다음과 같이 일반화할 수 있다:
Figure 112009019677755-PCT00010
또한, 가중치들이 단위 벡터에 어트리뷰팅될 때, 이것은 디스패러티 후보와관심있는 포인트 사이의 차이의 함수일 수 있지만, 사용된 매칭 윈도우에 따라 어트리뷰팅되는 가중치가 또한 존재한다. 도시된 예들에서 주어진 바와 같이, 방향이 상이할지라도, 기본적으로 균일한 매칭 윈도우들의 세트가 사용되는 경우에, 모든 추정치들은 동일한 가중치로 이루어질 것이다. 그러나, 매칭 윈도우들의 세트는 크기 또는 형태가 근본적으로 상이한 매칭 윈도우들을 가질 수 있다. 일례는 도 7에 도시된 유형 및 도 10에 도시된 바와 같은 유형이 합성된 매칭 윈도우들의 합성된 세트를 사용하는 것이다. 그 다음, 각각의 서브셋에 대하여, 8개의 후보 디스패러티 값들이 각각의 포인트에 어트리뷰팅될 것이다. 후보 디스패러티 값들의 가중치는 서브셋 내에서 동일하지만, 서브셋들 사이에서 상이할 수 있다. 이 신뢰 가중치(confidence weight)는 상이한 추정기들로 사용자의 경험에 따라 사용자에 의해 주어지는 고정된 수일 수 있다.
단어 "포함하는(to comprise)" 및 이의 활용형들의 사용은 청구항들에서 진술된 것들 이외의 요소들의 존재를 배제하지 않는다. 요소 앞의 부정관사 "a" 및 "an의 사용은 복수의 이러한 요소들의 존재를 배제하지 않는다.

Claims (19)

  1. 이미지의 포인트에 대해 윈도우-기반 매칭을 사용하여 상이한 방향들(orientations)로부터 획득된 이미지들로부터 깊이 맵을 결정하기 위한 방법으로서,
    적어도 상기 이미지의 부분에 대하여, 상기 이미지의 부분의 포인트들에 대하여, 매칭 윈도우들의 세트가 사용되고, 하나 이상의 후보 디스패러티 값이 각각의 포인트에 어트리뷰팅(attributing)되는 임시적인 깊이 맵을 제공하기 위해 각각의 포인트에 대해 다수의 후보 디스패러티 값들이 계산되고, 그 후에, 이웃하는 포인트들에 대한 상기 후보 디스패러티 값들로부터 상기 포인트로 포인팅하는 단위 벡터들의 합의 놈(norm)의 적어도 z-성분을 각각의 포인트에 대해 최소화함으로써 또 다른 깊이 맵이 계산되는, 깊이 맵 결정 방법.
  2. 제 1 항에 있어서,
    상기 이웃하는 포인트들의 단위 벡터들의 합의 놈의 모든 성분들이 최소화되는, 깊이 맵 결정 방법.
  3. 제 1 항에 있어서,
    매칭의 세트는 관심있는 포인트가 상기 매칭 윈도우에 대하여 편심적으로 위치되는 하나 이상의 매칭 윈도우들을 포함하는, 깊이 맵 결정 방법.
  4. 제 1 항 내지 제 3 항 중 어느 한 항에 있어서,
    상기 단위 벡터들의 합은 가중된 합이고,
    상기 계산 내의 각각의 단위 벡터들에 대한 가중치는 상기 관심있는 포인트까지의 거리의 함수인, 깊이 맵 결정 방법.
  5. 제 1 항 내지 제 4 항 중 어느 한 항에 있어서,
    평균으로부터의 문턱치보다 더 많이 상이한 단위 벡터들을 상기 계산으로부터 삭제하기 위해 검사가 수행되는, 깊이 맵 결정 방법.
  6. 제 1 항 내지 제 5 항 중 어느 한 항에 있어서,
    상기 매칭 윈도우의 세트는 실질적으로 직교하는 매칭 윈도우들의 세트인, 깊이 맵 결정 방법.
  7. 제 6 항에 있어서,
    상기 매칭 윈도우들의 수는 4개이고, 상기 매칭 윈도우들은 크로스(cross)를 형성하는, 깊이 맵 결정 방법.
  8. 제 7 항에 있어서,
    상기 매칭 윈도우들의 수는 8개이고,
    상기 윈도우들은 2개의 포섬들로 이루어지고, 하나의 포섬은 크로스를 각각 형성하는, 다른 포섬의 상기 윈도우들의 좌측 또는 우측 버전인, 깊이 맵 결정 방법.
  9. 제 6 항에 있어서,
    상기 매칭 윈도우들은 실질적으로 삼각형인, 깊이 맵 결정 방법.
  10. 제 1 항 내지 제 9 항 중 어느 한 항에 있어서,
    아웃라이어 거부/폐색 검출(outlier rejection/occlusion detection)이 상기 또 다른 깊이 맵 상에서 수행되는, 깊이 맵 결정 방법.
  11. 제 10 항에 있어서,
    이미지 기반 홀 충전이 상기 또 다른 깊이 맵 상에서 수행되는, 깊이 맵 결정 방법.
  12. 컴퓨터 프로그램이 컴퓨터 상에서 실행될 때, 제 1 항 내지 제 11 항 중 어느 한 항에 따른 방법을 수행하기 위한 프로그램 코드 수단을 포함하는, 컴퓨터 프로그램.
  13. 제 1 항 내지 제 11 항 중 어느 한 항에 따른 방법을 수행하기 위한 컴퓨터 판독가능한 매체 상에 저장된 컴퓨터 코드 수단을 포함하는, 컴퓨터 프로그램 제품.
  14. 상이한 방향들로부터 획득된 이미지 데이터를 입력하기 위한 입력부 및 이미지의 포인트에 대해 윈도우-기반 매칭을 사용하여 상기 입력부에 의해 수신된 상기 이미지 데이터로부터 임시적인 깊이 맵을 결정하기 위한 디터미네이터(determinator)(141)를 포함하는 디바이스에 있어서,
    상기 디터미네이터에서, 상기 포인트들에 대한 후보 디스패러티 값들을 생성하기 위해 상기 이미지의 포인트에 대해 매칭 윈도우들의 세트가 사용되고,
    상기 디바이스는 이웃하는 포인트들에 대한 상기 후보 디스패러티 값들로부터 상기 포인트로 포인팅하는 단위 벡터들의 합의 놈의 적어도 z-성분을 각각의 포인트에 대해 최소화함으로써 상기 임시적인 깊이 맵을 기초로 하여 또 다른 깊이 맵을 제공하기 위해 구성되는 표면 필터(142)를 더 포함하는, 디바이스.
  15. 제 14 항에 있어서,
    상기 표면 필터는 상기 이웃하는 포인트들의 단위 벡터들의 합의 놈의 모든 성분들을 최소화하도록 구성되는, 디바이스.
  16. 제 14 항에 있어서,
    상기 디터미네이터는 매칭의 세트가 관심있는 포인트들이 상기 매칭 윈도우 에 대하여 편심적으로 위치되는 하나 이상의 매칭 윈도우들을 포함하도록 구성되는, 디바이스.
  17. 제 14 항에 있어서,
    상기 표면 필터는 상기 단위 벡터들의 합이 가중된 합이도록 구성되고,
    상기 계산에서의 각각의 단위 벡터들에 대한 상기 가중치는 상기 관심있는 포인트까지의 거리의 함수인, 디바이스.
  18. 제 14 항에 있어서,
    상기 표면 필터는 평균으로부터의 문턱치보다 더 많이 상이한 단위 벡터들을 상기 계산으로부터 삭제하기 위해 검사가 수행되도록 구성되는, 디바이스.
  19. 제 14 항에 있어서,
    상기 디바이스는 이미지들을 기록하기 위한 수단을 포함하는, 디바이스.
KR1020097006726A 2006-09-04 2007-09-04 이미지들로부터 깊이 맵을 결정하기 위한 방법 및 깊이 맵을 결정하기 위한 디바이스 KR20090052889A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP06120051.5 2006-09-04
EP06120051 2006-09-04

Publications (1)

Publication Number Publication Date
KR20090052889A true KR20090052889A (ko) 2009-05-26

Family

ID=38961271

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020097006726A KR20090052889A (ko) 2006-09-04 2007-09-04 이미지들로부터 깊이 맵을 결정하기 위한 방법 및 깊이 맵을 결정하기 위한 디바이스

Country Status (6)

Country Link
US (1) US8326025B2 (ko)
EP (1) EP2064675B1 (ko)
JP (1) JP5249221B2 (ko)
KR (1) KR20090052889A (ko)
CN (1) CN101512601B (ko)
WO (1) WO2008029345A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9070196B2 (en) 2012-02-27 2015-06-30 Samsung Electronics Co., Ltd. Apparatus and method for estimating disparity using visibility energy model
US9245344B2 (en) 2012-05-10 2016-01-26 Samsung Electronics Co., Ltd. Method and apparatus for acquiring geometry of specular object based on depth sensor

Families Citing this family (58)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8400494B2 (en) 2005-10-11 2013-03-19 Primesense Ltd. Method and system for object reconstruction
WO2007105205A2 (en) 2006-03-14 2007-09-20 Prime Sense Ltd. Three-dimensional sensing using speckle patterns
US9330324B2 (en) 2005-10-11 2016-05-03 Apple Inc. Error compensation in three-dimensional mapping
US8493496B2 (en) * 2007-04-02 2013-07-23 Primesense Ltd. Depth mapping using projected patterns
WO2008155770A2 (en) * 2007-06-19 2008-12-24 Prime Sense Ltd. Distance-varying illumination and imaging techniques for depth mapping
US8456517B2 (en) * 2008-07-09 2013-06-04 Primesense Ltd. Integrated processor for 3D mapping
CN101673395B (zh) * 2008-09-10 2012-09-05 华为终端有限公司 图像拼接方法及装置
JP2012513059A (ja) * 2008-12-19 2012-06-07 サーブ エービー 場面と仮想シナリオを融合するシステムおよび方法
KR101526866B1 (ko) * 2009-01-21 2015-06-10 삼성전자주식회사 깊이 정보를 이용한 깊이 노이즈 필터링 방법 및 장치
CN102356637B (zh) * 2009-01-30 2017-02-22 汤姆森特许公司 深度图的编码
US8462207B2 (en) * 2009-02-12 2013-06-11 Primesense Ltd. Depth ranging with Moiré patterns
US8786682B2 (en) 2009-03-05 2014-07-22 Primesense Ltd. Reference image techniques for three-dimensional sensing
US8717417B2 (en) 2009-04-16 2014-05-06 Primesense Ltd. Three-dimensional mapping and imaging
US8933925B2 (en) * 2009-06-15 2015-01-13 Microsoft Corporation Piecewise planar reconstruction of three-dimensional scenes
JP4934701B2 (ja) * 2009-06-30 2012-05-16 株式会社日立製作所 ステレオ画像処理装置およびステレオ画像処理方法
WO2011013079A1 (en) * 2009-07-30 2011-02-03 Primesense Ltd. Depth mapping based on pattern matching and stereoscopic information
US8830227B2 (en) 2009-12-06 2014-09-09 Primesense Ltd. Depth-based gain control
US8982182B2 (en) 2010-03-01 2015-03-17 Apple Inc. Non-uniform spatial resource allocation for depth mapping
WO2011140178A1 (en) * 2010-05-04 2011-11-10 Bae Systems National Security Solutions Inc. Inverse stereo image matching for change detection
US8885890B2 (en) * 2010-05-07 2014-11-11 Microsoft Corporation Depth map confidence filtering
WO2012020380A1 (en) 2010-08-11 2012-02-16 Primesense Ltd. Scanning projectors and image capture modules for 3d mapping
KR101640404B1 (ko) * 2010-09-20 2016-07-18 엘지전자 주식회사 휴대 단말기 및 그 동작 제어방법
US8983121B2 (en) * 2010-10-27 2015-03-17 Samsung Techwin Co., Ltd. Image processing apparatus and method thereof
EP2643659B1 (en) 2010-11-19 2019-12-25 Apple Inc. Depth mapping using time-coded illumination
US9131136B2 (en) 2010-12-06 2015-09-08 Apple Inc. Lens arrays for pattern projection and imaging
US9338424B2 (en) * 2011-02-23 2016-05-10 Koninklijlke Philips N.V. Processing depth data of a three-dimensional scene
US9030528B2 (en) 2011-04-04 2015-05-12 Apple Inc. Multi-zone imaging sensor and lens array
US8982117B2 (en) 2011-06-22 2015-03-17 Samsung Display Co., Ltd. Display apparatus and method of displaying three-dimensional image using same
US8817073B2 (en) * 2011-08-12 2014-08-26 Himax Technologies Limited System and method of processing 3D stereoscopic image
WO2013053309A1 (en) * 2011-10-11 2013-04-18 Mediatek Inc. Method and apparatus of motion and disparity vector derivation for 3d video coding and hevc
US20130094753A1 (en) * 2011-10-18 2013-04-18 Shane D. Voss Filtering image data
KR20130047822A (ko) * 2011-11-01 2013-05-09 삼성전자주식회사 영상 처리 장치 및 방법
US9157790B2 (en) 2012-02-15 2015-10-13 Apple Inc. Integrated optoelectronic modules with transmitter, receiver and beam-combining optics for aligning a beam axis with a collection axis
US9571818B2 (en) * 2012-06-07 2017-02-14 Nvidia Corporation Techniques for generating robust stereo images from a pair of corresponding stereo images captured with and without the use of a flash device
WO2014000664A1 (en) * 2012-06-28 2014-01-03 Mediatek Inc. Method and apparatus of disparity vector derivation in 3d video coding
CN104412597B (zh) 2012-07-05 2017-09-08 联发科技股份有限公司 用于3d视频编码的统一视差矢量推导的方法及装置
US9299152B2 (en) * 2012-12-20 2016-03-29 Hong Kong Applied Science And Technology Research Institute Co., Ltd. Systems and methods for image depth map generation
US9171373B2 (en) * 2012-12-26 2015-10-27 Ncku Research And Development Foundation System of image stereo matching
CN103974055B (zh) * 2013-02-06 2016-06-08 城市图像科技有限公司 3d照片生成系统及方法
WO2014166109A1 (en) * 2013-04-12 2014-10-16 Mediatek Singapore Pte. Ltd. Methods for disparity vector derivation
US10009621B2 (en) * 2013-05-31 2018-06-26 Qualcomm Incorporated Advanced depth inter coding based on disparity of depth blocks
US20140363097A1 (en) 2013-06-06 2014-12-11 Etron Technology, Inc. Image capture system and operation method thereof
WO2015006900A1 (en) * 2013-07-15 2015-01-22 Mediatek Singapore Pte. Ltd. A disparity derived depth coding method
CN105359520B (zh) * 2013-07-15 2017-12-12 联发科技（新加坡）私人有限公司 在三维视频编码中的深度编码方法和装置
FR3013488B1 (fr) 2013-11-18 2017-04-21 Univ De Nice (Uns) Procede d'estimation de la vitesse de deplacement d'une camera
TW201528775A (zh) 2014-01-02 2015-07-16 Ind Tech Res Inst 景深圖校正方法及系統
JP6401922B2 (ja) * 2014-03-13 2018-10-10 株式会社メガチップス 物体検出装置
CN105082888A (zh) * 2014-05-06 2015-11-25 低碳动能开发股份有限公司 一种轮胎胎纹侦测装置
US9858719B2 (en) 2015-03-30 2018-01-02 Amazon Technologies, Inc. Blended reality systems and methods
JP2017021759A (ja) * 2015-07-15 2017-01-26 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
JP6908025B2 (ja) * 2016-04-06 2021-07-21 ソニーグループ株式会社 画像処理装置と画像処理方法
US10237530B1 (en) * 2016-06-29 2019-03-19 Amazon Technologies, Inc. Depth-map augmentation techniques
US10212408B1 (en) 2016-06-29 2019-02-19 Amazon Technologies, Inc. Depth-map augmentation techniques
KR102507383B1 (ko) * 2016-11-08 2023-03-08 한국전자통신연구원 직사각형 윈도우를 이용한 스테레오 정합 방법 및 스테레오 정합 시스템
US10445861B2 (en) * 2017-02-14 2019-10-15 Qualcomm Incorporated Refinement of structured light depth maps using RGB color data
KR102468897B1 (ko) 2017-10-16 2022-11-21 삼성전자주식회사 깊이 값을 추정하는 방법 및 장치
CN110070500B (zh) * 2019-03-21 2020-12-08 浙江大学 一种深度图像的后处理方法
CN111223059B (zh) * 2020-01-04 2022-02-11 西安交通大学 一种基于引导滤波器的鲁棒深度图结构重建和去噪方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4532546A (en) 1984-01-04 1985-07-30 Itek Corporation Real time single frame memory for converting video interlaced formats
EP1418766A3 (en) * 1998-08-28 2010-03-24 Imax Corporation Method and apparatus for processing images
US6269175B1 (en) * 1998-08-28 2001-07-31 Sarnoff Corporation Method and apparatus for enhancing regions of aligned images using flow estimation
JP4524514B2 (ja) * 1999-08-05 2010-08-18 ソニー株式会社 画像処理装置、画像処理方法、および記録媒体
CN1307599C (zh) * 2000-09-07 2007-03-28 皇家菲利浦电子有限公司 图像匹配
JP3915664B2 (ja) * 2002-05-15 2007-05-16 日本電気株式会社 画像処理装置及びそれに用いる画像処理方法並びにそのプログラム
WO2004066212A2 (en) * 2003-01-17 2004-08-05 Koninklijke Philips Electronics N.V. Full depth map acquisition

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9070196B2 (en) 2012-02-27 2015-06-30 Samsung Electronics Co., Ltd. Apparatus and method for estimating disparity using visibility energy model
US9245344B2 (en) 2012-05-10 2016-01-26 Samsung Electronics Co., Ltd. Method and apparatus for acquiring geometry of specular object based on depth sensor

Also Published As

Publication number Publication date
EP2064675A1 (en) 2009-06-03
US8326025B2 (en) 2012-12-04
JP5249221B2 (ja) 2013-07-31
WO2008029345A1 (en) 2008-03-13
EP2064675B1 (en) 2012-11-21
JP2010502945A (ja) 2010-01-28
US20090324059A1 (en) 2009-12-31
CN101512601B (zh) 2013-07-31
CN101512601A (zh) 2009-08-19

Similar Documents

Publication Publication Date Title
US8326025B2 (en) Method for determining a depth map from images, device for determining a depth map
US8385630B2 (en) System and method of processing stereo images
EP1442614B1 (en) Method and apparatus for image matching
JP6143747B2 (ja) 深度測定の品質の向上
RU2382406C1 (ru) Способ улучшения карты диспарантности и устройство для реализации способа
US10846844B1 (en) Collaborative disparity decomposition
Jain et al. Exploiting global connectivity constraints for reconstruction of 3D line segments from images
US8897545B2 (en) Apparatus and method for determining a confidence value of a disparity estimate
Yuan et al. 3D reconstruction of background and objects moving on ground plane viewed from a moving camera
Rossi et al. Joint graph-based depth refinement and normal estimation
EP1997072B1 (en) Method for determining a depth map from images, device for determining a depth map
Saxena et al. 3-d reconstruction from sparse views using monocular vision
CN117456114B (zh) 基于多视图的三维图像重建方法及系统
Luo et al. Stereo matching and occlusion detection with integrity and illusion sensitivity
Navarro et al. Variational scene flow and occlusion detection from a light field sequence
Yin et al. Improving depth maps by nonlinear diffusion
Lee et al. Refinement of inverse depth plane in textureless and occluded regions in a multiview stereo matching scheme
Fu et al. Computing visibility for triangulated panoramas
Turetken et al. Temporally consistent layer depth ordering via pixel voting for pseudo 3D representation
Cavan Reconstruction of 3d points from uncalibrated underwater video
Son et al. Stereo matching algorithm using a simplified trellis diagram iteratively and bi-directionally
Laycock et al. Image Registration in a Coarse Three‐Dimensional Virtual Environment
Okarma et al. Vector median splatting for image based rendering
Wong et al. Computing Visibility for Triangulated Panoramas
Alessandrini et al. Efficient and automatic stereoscopic videos to N views conversion for autostereoscopic displays

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application