KR102350232B1 - 스테레오 영상 매칭 방법 및 장치 - Google Patents

스테레오 영상 매칭 방법 및 장치 Download PDF

Info

Publication number
KR102350232B1
KR102350232B1 KR1020140162525A KR20140162525A KR102350232B1 KR 102350232 B1 KR102350232 B1 KR 102350232B1 KR 1020140162525 A KR1020140162525 A KR 1020140162525A KR 20140162525 A KR20140162525 A KR 20140162525A KR 102350232 B1 KR102350232 B1 KR 102350232B1
Authority
KR
South Korea
Prior art keywords
images
cost
pixels
matching
pixel
Prior art date
Application number
KR1020140162525A
Other languages
English (en)
Other versions
KR20160060358A (ko
Inventor
장현성
최욱
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020140162525A priority Critical patent/KR102350232B1/ko
Priority to US14/722,551 priority patent/US9832454B2/en
Publication of KR20160060358A publication Critical patent/KR20160060358A/ko
Application granted granted Critical
Publication of KR102350232B1 publication Critical patent/KR102350232B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

스테레오 영상을 매칭하는 방법 및 장치가 제공된다. 스테레오 영상 매칭 방법 및 장치는 복수의 영상들에 대한 데이터 비용(data cost)을 계산하고, 복수의 영상들 각각에 대한 평탄 비용(smoothness cost)을 계산하고, 데이터 비용 및 평탄 비용 을 이용하여 복수의 영상들 간의 픽셀들을 서로 매칭한다.

Description

스테레오 영상 매칭 방법 및 장치{METHOD AND APPARATUS FOR MATCHING STEREO IMAGES}
아래의 실시예들은 스테레오 영상들을 매칭하기 위한 방법 및 장치에 관한 것으로, 상세하게는 스테레오 영상들을 매칭하기 위해 계산되는 비용을 최소화하도록 스테레오 영상을 매칭하는 방법에 관한 것이다.
잘 알려진 바와 같이, 사람의 시각은 주위 환경의 정보를 얻기 위한 감각의 하나로서, 양안을 통해 사물의 위치와 멀고 가까움을 인지할 수 있다. 즉, 양안을 통해 들어오는 시각 정보들이 하나의 거리정보로 합성되면서 자유롭게 활동하는 것이다.
이러한 시각구조를 기계로 구현할 때 사용되는 것이 스테레오 카메라 시스템이다. 스테레오 카메라 시스템은 두 개의 카메라를 이용하여 얻은 영상에 대하여 스테레오 매칭(stereo matching) 또는 스테레오 영상 매칭을 수행할 수 있다. 스테레오 매칭 과정에서 스테레오 카메라는 두 개의 카메라들의 양안 시차를 이용하여 양안 시차 맵을 구한다.
일 측면에 따른, 복수의 영상들에 대한 데이터 비용(data cost)을 계산하는 단계 - 상기 복수의 영상들은 동일한 장면(scene)을 촬영한, 시점이 서로 상이한 영상들임 -, 상기 복수의 영상들 각각에 대한 평탄 비용(smoothness cost)을 계산하는 단계 및 상기 데이터 비용 및 상기 평탄 비용에 기반하여 복수의 영상들 간의 픽셀들을 서로 매칭하는 단계를 포함하고, 상기 데이터 비용은 상기 복수의 영상들의 양안 시차(disparity) 정보에 따른 상기 픽셀들 간의 기하학적 관계에 기반하여 계산되고, 상기 평탄 비용은 영상의 픽셀 및 상기 픽셀의 주변 픽셀들 간의 양안 시차의 유사성에 기반하여 계산된다.
상기 매칭하는 단계는, 평균 장 점근법(mean field approximation)을 이용하여 상기 픽셀들을 서로 매칭하는 단계를 포함할 수 있다.
상기 매칭하는 단계는, 상기 데이터 비용 및 상기 평탄 비용에 기반하여 사후 확률분포(posterior probability distribution)를 생성하는 단계 및 상기 사후 확률분포를 최대화하도록 상기 픽셀들을 서로 매칭하는 단계를 포함할 수 있다.
상기 사후 확률분포를 최대화하도록 상기 픽셀들을 서로 매칭하는 단계는, 상기 사후 확률분포를 성분들이 서로 독립적인 다른 확률분포로 변환하는 단계 및 상기 다른 확률분포를 최대화하도록 상기 픽셀들을 서로 매칭하는 단계를 포함할 수 있다.
상기 다른 확률분포는 상기 다른 확률분포 및 상기 사후 확률분포 간의 쿨백-라이블러 발산(Kullback-Leibler divergence)을 최소화할 수 있다.
상기 성분들은 각각의 확률분포이며, 상기 각각의 확률분포의 합은 1일 수 있다.
상기 주변 픽셀들은 상기 픽셀이 포함된 영상 내의 모든 픽셀들일 수 있다.
상기 데이터 비용을 계산할 때 상기 기하학적 관계를 고려하여 영상의 하나 이상의 픽셀에 비용을 각각 할당할 수 있다.
상기 데이터 비용을 계산할 때 상기 기하학적 관계에 의해 발생할 수 없는 구조를 가지는 픽셀에 대해 소정의 비용을 할당할 수 있다.
상기 소정의 비용은 상기 픽셀들을 서로 매칭하는 단계가 반복적으로 수행됨에 따라 조정될 수 있다.
상기 픽셀들을 서로 매칭하는 단계는, 상기 데이터 비용 및 상기 평탄 비용의 합이 최소가 되도록 상기 픽셀들을 서로 매칭하는 단계를 포함할 수 있다.
상기 픽셀들을 서로 매칭하는 단계는, 상기 평탄 비용에 규칙화 계수(regularization coefficient)를 적용함으로써 상기 합이 최소가 되도록 상기 픽셀들을 서로 매칭하는 단계를 포함할 수 있다.
상기 데이터 비용을 계산하기 위한 데이터 비용 함수의 하나 이상의 파라미터 및 상기 평탄 비용을 계산하기 위한 평탄 비용 함수의 하나 이상의 파라미터는 지상-검증(ground-truth) 양안 시차 맵을 이용하여 훈련된(training) 값일 수 있다.
상기 스테레오 영상 매칭 방법은 상기 복수의 영상들 및 상기 복수의 영상들의 양안 시차 맵들을 하나 이상의 스케일로 변환하는 단계를 더 포함할 수 있다.
상기 매칭하는 단계는 상기 하나 이상의 스케일로 변환된 복수의 영상들에 대한 데이터 비용 및 하나 이상의 스케일로 변환된 양안 시차 맵들에 대한 평탄 비용에 기반하여 상기 복수의 영상들 간의 픽셀들을 서로 매칭하는 단계를 포함할 수 있다.
상기 스테레오 영상 매칭 방법은 상기 서로 매칭된 픽셀들에 기반하여 상기 복수의 영상들의 양안 시차 맵을 각각 생성하는 단계를 더 포함할 수 있다.
상기 스테레오 영상 매칭 방법은 동일한 시점에서 연속적으로 촬영된 영상들에 대해서 상기 영상들 중 어느 하나의 영상의 픽셀에 대한 주변 관계를 다른 영상에 대해 설정하는 단계를 더 포함할 수 있다.
상기 매칭하는 단계는 상기 픽셀 및 상기 픽셀의 주변 관계를 이용하여 상기 복수의 영상들 간의 픽셀들을 서로 매칭하는 단계를 포함할 수 있다.
다른 일 측면에 따른, 스테레오 영상 매칭 장치는 복수의 영상들에 대한 데이터 비용(data cost)을 계산하기 위한 데이터 비용 계산부 - 상기 복수의 영상들은 동일한 장면(scene)을 촬영한, 시점이 서로 상이한 영상들임 -, 상기 복수의 영상들 각각에 대한 평탄 비용(smoothness cost)을 계산하기 위한 평탄 비용 계산부 및 상기 데이터 비용 및 상기 평탄 비용에 기반하여 복수의 영상들 간의 픽셀들을 서로 매칭하는 매칭부를 포함하고, 상기 데이터 비용 계산부는 상기 복수의 영상들의 양안 시차(disparity) 정보에 따른 상기 픽셀들 간의 기하학적 관계에 기반하여 상기 데이터 비용을 계산하고, 상기 평탄 비용 계산부는 영상의 픽셀 및 상기 픽셀의 주변 픽셀들 간의 양안 시차의 유사성에 기반하여 상기 평탄 비용을 계산한다. 상기 매칭부는 평균 장 점근법(mean field approximation)을 이용하여 상기 픽셀들을 서로 매칭할 수 있다.
상기 매칭부는 상기 데이터 비용 및 상기 평탄 비용에 기반하여 사후 확률분포(posterior probability distribution)를 생성하고, 상기 사후 확률분포를 최대화하도록 상기 픽셀들을 서로 매칭할 수 있다.
도 1은 일 예에 따른 스테레오 영상들을 촬영하기 위한 카메라들의 배치를 도시한다.
도 2는 일 예에 따른 생성된 스테레오 영상들을 도시한다.
도 3은 일 예에 따른 스테레오 영상들의 매칭에 의해 생성된 양안 시차 맵을 도시한다.
도 4는 일 실시예에 따른 스테레오 영상 매칭 장치의 구성도이다.
도 5는 일 실시예에 따른 스테레오 영상 매칭 방법의 흐름도이다.
도 6은 일 예에 따른 복수의 영상들 간의 픽셀들을 매칭하는 방법의 흐름도이다.
도 7은 일 예에 따른 다른 확률분포의 성분들을 최적화하는 방법의 흐름도이다.
도 8은 일 예에 따른 픽셀의 주변 관계를 설정하는 방법의 흐름도이다.
도 9는 일 예에 따른 스테레오 영상들의 매칭에 의해 생성된 양안 시차 맵을 도시한다.
이하에서, 첨부된 도면을 참조하여 실시예들을 상세하게 설명한다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
아래 설명하는 실시예들에는 다양한 변경이 가해질 수 있다. 아래 설명하는 실시예들은 실시 형태에 대해 한정하려는 것이 아니며, 이들에 대한 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
실시예에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 실시예를 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 실시예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 실시예의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
도 1은 일 예에 따른 스테레오 영상들을 촬영하기 위한 카메라들의 배치를 도시한다.
스테레오 매칭(stereo matching) 또는 스테레오 영상 매칭은 동일한 장면(scene)을 2 개 이상의 서로 다른 시점에서 촬영된 영상들을 매칭하는 것이다. 스테레오 영상 매칭은 영상들의 픽셀들 간의 대응관계를 찾는 것일 수 있다.
도 1에서, 제1 카메라(110) 및 제2 카메라(120)는 서로 다른 시점에서 동일한 장면을 촬영할 수 있다.
장면(scene)은 전경(140) 및 배경(130)을 포함할 수 있다.
일 측면에 따르면, 제1 카메라(110) 및 제2 카메라(120)는 가로 방향으로 평행하게 배치될 수 있다.
제1 카메라(110) 및 제2 카메라(120)에 의해 촬영된 영상들이 하기의 도 2에 도시된다.
도 2는 일 예에 따른 생성된 스테레오 영상들을 도시한다.
왼쪽 영상(210)은 전술된 제1 카메라(110)에 의해 촬영된 영상일 수 있다.
오른쪽 영상(220)은 전술된 제2 카메라(120)에 의해 촬영된 영상일 수 있다.
제1 카메라(110) 및 제2 카메라(120)는 서로 상이한 시점을 갖기 때문에, 촬영된 왼쪽 영상(210) 및 오른쪽 영상(220)은 장면의 전경(140) 및 배경(130) 간의 위치가 서로 상이할 수 있다.
왼쪽 영상(210) 및 오른쪽 영상(220)은 동일한 장면을 촬영한 것이기 때문에, 동일한 구성요소를 포함할 수 있다.
전경(140)은 제1 전경(212) 및 제2 전경(222)에 각각 대응할 수 있다. 제1 전경(212) 및 제2 전경(220)은 동일한 전경(140)을 각각 촬영한 값이기 때문에, 제1 전경(212)의 픽셀 및 제2 전경(220)의 픽셀은 서로 대응할 수 있다.
예를 들어, 제1 전경의 픽셀 m(214) 및 제2 전경의 픽셀 u(224)은 서로 간에 대응할 수 있다.
배경(130)은 제1 배경(211) 및 제2 배경(221)에 각각 대응할 수 있다. 제1 배경(211) 및 제2 배경(221)은 동일한 배경(130)을 각각 촬영한 값이기 때문에, 제1 배경(211)의 픽셀 및 제2 배경(221)의 픽셀은 서로 간에 대응할 수 있다.
왼쪽 영상(210) 및 오른쪽 영상(220) 간에 스테레오 매칭이 수행되면, 제1 전경의 픽셀 m(214) 및 제2 전경의 픽셀 u(224) 간의 변위 또는 시차(disparity)가 계산될 수 있다. 변위 또는 시차가 계산된 경우 제1 카메라(110) 및 제2 카메라(120)로부터 전경(140)까지의 실제 거리가 계산될 수 있다.
시차는 가로 방향으로만 발생하고, 세로 방향으로는 발생하지 않을 수 있다.
왼쪽 영상(210) 및 오른쪽 영상(220) 간에 스테레오 매칭을 수행하는 과정에서 왼쪽 영상(210)의 양안 시차 맵(binocular disparity map) 및 오른쪽 영상(220)의 양안 시차 맵(이하에서 양안 시차 맵은 시차 맵으로 약술된다)이 추정될 수 있다.
앞서 도 1을 참조하여 설명된 기술적 내용들이 그대로 적용될 수 있으므로, 보다 상세한 설명은 이하 생략하기로 한다.
도 3은 일 예에 따른 스테레오 영상들의 매칭에 의해 생성된 양안 시차 맵을 도시한다.
도 3의 시차 맵들(310 및 320)은 왼쪽 영상 및 오른쪽 영상을 이용하여 시차 맵을 추정하는 방법에 의해 각각 추정된 시차 맵들일 수 있다.
상기의 방법에 의해 추정된 시차 맵은 왼쪽 영상 및 오른쪽 영상 간에 발생하는 폐색(occlusion)에 대해 취약할 수 있다. 폐색이 발생하는 영역에 존재하는 픽셀은 다른 픽셀과 매칭이 되지 않을 수 있다. 폐색 영역의 픽셀을 매칭이 이루어지는 픽셀과 동일하게 처리하는 경우, 오류(312)가 발생할 수 있다.
일 측면에 따르면, 오류(312)를 감소시키는 방법으로, 영상들 간의 기하학적 합치성(geometry consistency)을 고려하는 방법이 이용될 수 있다.
다른 일 측면에 따르면, 오류(312)를 감소시키는 방법으로, 최적화 과정을 통하여 시차 맵을 추정하는 방법이 이용될 수 있다.
오류(312)를 감소시키기 위한 스테레오 영상 매칭 방법에 대해, 하기에서 도 4 내지 도 9를 참조하여 상세히 설명된다.
앞서 도 1 내지 도 2를 참조하여 설명된 기술적 내용들이 그대로 적용될 수 있으므로, 보다 상세한 설명은 이하 생략하기로 한다.
도 4는 일 실시예에 따른 스테레오 영상 매칭 장치의 구성도이다.
스테레오 영상 매칭 장치(400)는 데이터 비용(data cost) 계산부 (410), 평탄 비용(smoothness cost) 계산부 (420), 매칭부(430) 및 시차 맵 생성부(440)를 포함할 수 있다.
데이터 비용 계산부(410), 평탄 비용 계산부(420), 매칭부(430) 및 시차 맵 생성부(440)에 대해, 하기에서 도 5 내지 도 9를 참조하여 상세히 설명된다.
앞서 도 1 내지 도 3을 참조하여 설명된 기술적 내용들이 그대로 적용될 수 있으므로, 보다 상세한 설명은 이하 생략하기로 한다.
도 5는 일 실시예에 따른 스테레오 영상 매칭 방법의 흐름도이다.
단계(510)에서, 데이터 비용 계산부(410)는 복수의 영상들에 대한 데이터 비용을 계산할 수 있다. 예를 들어, 데이터 비용 계산부(410)는 복수의 영상들에 대한 데이터 비용을 계산하기 위한 데이터 비용 함수를 생성할 수 있다.
일 측면에 따르면, 복수의 영상들은 왼쪽 영상 및 오른쪽 영상일 수 있다. 복수의 영상들은 동일한 장면을 촬영한, 시점이 서로 상이한 영상들일 수 있다.
데이터 비용은 복수의 영상들의 시차 정보에 따른 이용한 픽셀들 간의 기하학적 관계에 기반하여 계산될 수 있다.
데이터 비용을 계산할 때 대응하는 픽셀들 간의 기하학적 관계를 고려하여 영상의 하나 이상의 픽셀에 비용을 각각 할당할 수 있다.
예를 들어, 데이터 비용 계산부(410)는 왼쪽 영상의 제1 시차 맵 및 오른쪽 영상의 제2 시차 맵을 동시에 추정하고, 제1 시차 맵 및 제2 시차 맵 간의 기하학적 정보를 이용함으로써 왼쪽 영상에 대한 데이터 비용을 하기의 [수학식 1]과 같이 생성할 수 있다. [수학식 1]은 왼쪽 영상에 대한 데이터 비용 함수일 수 있다.
Figure 112014112011151-pat00001
Figure 112014112011151-pat00002
는 왼쪽 영상에 대한 데이터 비용일 수 있다.
Il은 왼쪽 영상일 수 있다. Ir은 오른쪽 영상일 수 있다. dl은 왼쪽 영상의 제1 시차 맵일 수 있다. dr은 오른쪽 영상의 제2 시차 맵일 수 있다. m은 왼쪽 영상에 포함된 픽셀일 수 있다.
dl m은 제1 시차 맵의 픽셀 중 왼쪽 영상의 픽셀 m에 대응하는 픽셀의 시차 값일 수 있다. 왼쪽 영상의 픽셀 m 및 제1 시차 맵의 대응하는 픽셀은 서로 동일한 좌표 값을 가질 수 있다.
Figure 112014112011151-pat00003
은 제2 시차 맵의 픽셀 중 픽셀 m에 대응하는 픽셀의 시차 값일 수 있다.
Co는 소정의 값일 수 있다.
Figure 112014112011151-pat00004
는 왼쪽 영상의 픽셀 m의 컬러 값 및 픽셀 m에 대응하는 오른쪽 영상의 픽셀의 컬러 값 간의 상이도를 나타낼 수 있다.
Figure 112014112011151-pat00005
는 하기의 [수학식 2]를 이용하여 계산될 수 있다.
Figure 112014112011151-pat00006
픽셀들 간의 상이도는 대응하는 픽셀들의 각 컬러 값 간의 차이를 이용하여 계산될 수 있다. σ는 미리 설정된 상수일 수 있다.
Ci는 기하학적으로 모순인 조건을 만족하는 경우 부가되는 상수일 수 있다. 이상적으로, Ci는 무한대의 값을 가질 수 있으나, 시스템에서는 유한한 상수의 값을 가질 수 있다.
예를 들어, 데이터 비용을 계산하는 과정이 반복적인 경우, Ci는 반복에 의해 점점 커지도록 설정될 수 있다. 다른 예로, 하기의 단계(530)가 반복적으로 수행됨에 따라 Ci가 조정될 수 있다.
데이터 비용을 계산할 때 기하학적 관계에 의해 발생할 수 없는 구조를 가지는 픽셀(즉, 모순인 조건을 만족하는 픽셀)에 대해 소정의 비용을 할당할 수 있다. 소정의 비용은 Ci일 수 있다.
왼쪽 영상에 대한 데이터 비용과 유사하게, 오른쪽 영상에 대한 데이터 비용은 하기의 [수학식 3]을 이용하여 생성될 수 있다. [수학식 3]은 오른쪽 영상에 대한 데이터 비용 함수일 수 있다.
Figure 112014112011151-pat00007
Figure 112014112011151-pat00008
는 오른쪽 영상에 대한 데이터 비용일 수 있다.
u은 오른쪽 영상에 포함된 픽셀일 수 있다.
dr u은 제2 시차 맵의 픽셀 중 오른쪽 영상의 픽셀 u에 대응하는 픽셀의 시차 값일 수 있다. 오른쪽 영상의 픽셀 u 및 제2 시차 맵의 대응하는 픽셀은 서로 동일한 좌표 값을 가질 수 있다.
Figure 112014112011151-pat00009
은 제1 시차 맵의 픽셀 중 픽셀 u에 대응하는 픽셀의 시차 값일 수 있다.
일 측면에 따르면, 데이터 비용 계산부(410)는 생성되는 데이터 비용의 강인성(robustness)을 위하여 추가적인 조건을 고려할 수 있다.
예를 들어, 데이터 비용 계산부(410)는 계산되는 데이터 비용의 최대 값을 설정할 수 있다. 다른 예로, 데이터 비용 계산부(410)는 하나의 픽셀을 비교하는 대신, 픽셀을 포함하는 패치를 이용할 수 있다. 또 다른 예로, 데이터 비용 계산부(410)는 복수의 측정 값을 가중할 수 있다.
단계(520)에서, 평탄 비용 계산부(420)는 복수의 영상들 각각에 대한 평탄 비용을 계산할 수 있다. 예를 들어, 평탄 비용 계산부(420)는 복수의 영상들 각각에 대한 평탄 비용을 계산하기 위한 평탄 비용 함수를 생성할 수 있다.
평탄 비용은 영상의 특정 픽셀 및 특정 픽셀의 주변 픽셀들 간의 시차 값의 유사성에 기반하여 계산될 수 있다. 일 측면에 따르면, 평탄 비용 계산부(420)는 왼쪽 영상에 대한 평탄 비용을 하기의 [수학식 4]와 같이 생성할 수 있다. [수학식 4]는 왼쪽 영상에 대한 평탄 비용 함수일 수 있다.
Figure 112014112011151-pat00010
Figure 112014112011151-pat00011
는 왼쪽 영상에 대한 평탄 비용일 수 있다.
Figure 112014112011151-pat00012
는 설정된 픽셀 m의 주변 픽셀들의 집합일 수 있다. 예를 들어, 주변 픽셀들은 픽셀 m의 좌, 우, 위 및 아래의 픽셀들일 수 있다. 다른 예로, 주변 픽셀들은 픽셀 m이 포함된 왼쪽 영상의 모든 픽셀들일 수 있다. n은
Figure 112014112011151-pat00013
에 포함된 픽셀일 수 있다.
Figure 112014112011151-pat00014
는 dl m 및 dl n 가 서로 상이할 때, 부가되는 가중치일 수 있다.
Figure 112014112011151-pat00015
는 픽셀 m 및 픽셀 n이 동일한 물체(object)를 구성하는 경우 크게 설정될 수 있다.
Figure 112014112011151-pat00016
는 픽셀 m 및 픽셀 n이 동일한 물체를 구성하지 않는 경우 0에 가깝게 설정될 수 있다.
Figure 112014112011151-pat00017
는 왼쪽 영상을 참고하여 설정될 수 있다.
예를 들어,
Figure 112014112011151-pat00018
는 바이래터럴 필터(bilateral fiter) 계수 또는 가이디드 필터(guided filter) 계수를 이용하여 설정될 수 있다. 다른 예로,
Figure 112014112011151-pat00019
는 바이래터럴 필터 계수 및 가이디드 필터 계수를 임의로 조합하여 설정될 수 있다.
예를 들어, 주변 픽셀이 픽셀 m이 포함된 왼쪽 영상의 모든 픽셀들인 경우,
Figure 112014112011151-pat00020
로 바이래터럴 필터 계수 또는 가이디드 필터 계수가 이용될 수 있다. 다른 예로, 주변 픽셀이 픽셀 m이 포함된 왼쪽 영상의 모든 픽셀들인 경우,
Figure 112014112011151-pat00021
로 바이래터럴 필터 계수 및 가이디드 필터 계수의 임의의 조합이 이용될 수 있다.
일 측면에 따르면,
Figure 112014112011151-pat00022
은 하기의 [수학식 5]를 이용하여 계산될 수 있다.
Figure 112014112011151-pat00023
다른 일 측면에 따르면,
Figure 112014112011151-pat00024
은 하기의 [수학식 6]을 이용하여 계산될 수 있다.
Figure 112014112011151-pat00025
왼쪽 영상에 대한 평탄 비용과 유사하게, 오른쪽 영상에 대한 평탄 비용은 하기의 [수학식 7]을 이용하여 생성될 수 있다. [수학식 7]은 오른쪽 영상에 대한 평탄 비용 함수일 수 있다.
Figure 112014112011151-pat00026
왼쪽 영상에 대한 평탄 비용에 대한 설명이 오른쪽 영상에 대한 평탄 비용에도 유사하게 적용될 수 있다.
단계(530)에서, 매칭부(430)는 데이터 비용 및 평탄 비용에 기반하여 복수의 영상들 간의 픽셀들을 서로 매칭할 수 있다. 예를 들어, 매칭부(430)는 데이터 비용 함수 및 평탄 비용 함수를 이용하여 복수의 영상들 간의 픽셀들을 서로 매칭할 수 있다.
일 측면에 따르면, 매칭부(430)는 데이터 비용 및 평탄 비용의 합이 최소가 되도록 픽셀들을 서로 매칭할 수 있다. 즉, 단계(530)는 에너지를 최소화하는 최적화 과정일 수 있다.
매칭부(430)는 픽셀들을 서로 매칭하기 위해 복수의 영상들의 시차 맵들을 추정할 수 있다. 시차 맵들은 데이터 비용 및 평탄 비용의 합이 최소가 되도록 생성될 수 있다. 즉, 매칭부(430)는 시차 맵들을 이용하여 계산된 데이터 비용 및 평탄 비용의 합이 최소되도록 시차 맵들을 추정할 수 있다.
예를 들어, 매칭부(430)는 하기의 [수학식 8]의 값이 최소가 되도록 복수의 영상들 간의 픽셀들을 서로 매칭할 수 있다.
Figure 112014112011151-pat00027
Figure 112014112011151-pat00028
는 최적화 비용일 수 있다.
λ는 평탄 비용 및 데이터 비용 간의 규칙화 계수(regularization coefficient)일 수 있다. 매칭부(430)는 평탄 비용에 규칙화 계수를 적용함으로써 상기의 합이 최소가 되도록 픽셀들을 서로 매칭할 수 있다.
데이터 비용 및 평탄 비용에 기반하여 복수의 영상들 간의 픽셀들을 서로 매칭하는 방법에 대해, 하기에서 도 6 및 도 7을 참조하여 상세히 설명된다.
앞서 도 1 내지 도 4를 참조하여 설명된 기술적 내용들이 그대로 적용될 수 있으므로, 보다 상세한 설명은 이하 생략하기로 한다.
도 6은 일 예에 따른 복수의 영상들 간의 픽셀들을 매칭하는 방법의 흐름도이다.
전술된 단계(530)는 하기의 단계들(610 내지 630)을 포함할 수 있다.
단계들(610 내지 630)은 평균 장 점근법(mean field approximation)을 이용하여 픽셀들을 서로 매칭하는 방법을 수행하는 단계들일 수 있다.
단계(610)에서, 매칭부(430)는 데이터 비용 및 평탄 비용에 기반하여 사후 확률분포(posterior probability distribution)를 생성할 수 있다.
일 측면에 따르면, 사후 확률분포는 하기의 [수학식 9]로 나타낼 수 있다.
Figure 112014112011151-pat00029
Z는 사후 확률분포
Figure 112014112011151-pat00030
가 확률분포로서 유효하도록 만드는 정규화 상수 또는 분배 함수(partition function)일 수 있다.
매칭부(430)는 사후 확률분포를 최대화하도록 제1 시차 맵(dl) 및 제2 시차 맵(dr)을 추정할 수 있다. 즉, 매칭부(430)는 사후 확률분포를 최대화하도록 픽셀들을 서로 매칭할 수 있다.
단계(620)에서, 매칭부(430)는 사후 확률분포를 다른 확률분포로 변환할 수 있다.
다른 확률분포는 성분들이 서로 독립적일 수 있다.
다른 확률분포는 하기의 [수학식 10]으로 정의될 수 있다.
Figure 112014112011151-pat00031
다른 확률분포는, 다른 확률분포 및 사후 확률분포 간의 쿨백-라이블러 발산(Kullback-Leibler divergence)을 최소화하는 확률분포일 수 있다.
Figure 112014112011151-pat00032
및
Figure 112014112011151-pat00033
는 확률분포로서 유효해야 하므로,
Figure 112014112011151-pat00034
및
Figure 112014112011151-pat00035
의 합은 1일 수 있다.
단계(630)에서, 매칭부(430)는 다른 확률분포를 최대화하도록 복수의 영상들 간의 픽셀들을 매칭할 수 있다.
라그랑지 승수법(Lagrange multiplier method)을 이용하여
Figure 112014112011151-pat00036
및
Figure 112014112011151-pat00037
에 대한 최적화 조건을 구하면,
Figure 112014112011151-pat00038
및
Figure 112014112011151-pat00039
는 각각 하기의 [수학식 11]로 정의될 수 있다.
Figure 112014112011151-pat00040
연산자
Figure 112014112011151-pat00041
는 그 아래 첨자의 확률 변수들 상의 기대값 일 수 있다.
Zl m 및 Zr u는 상수일 수 있다.
상기 [수학식 11]을 만족하는 방정식의 해는 닫힌 형식(closed-form)이 아닌, 반복적(iterative)인 방식으로 획득될 수 있다.
반복을 거듭하면서,
Figure 112014112011151-pat00042
및
Figure 112014112011151-pat00043
가 수렴하는 경우,
Figure 112014112011151-pat00044
를 최대화하는 제1 시차 맵(dl) 및 제2 시차 맵(dr)을 추정할 수 있다.
Figure 112014112011151-pat00045
의 성분들은 각각 독립적이므로, 해는 하기의 [수학식 12]를 계산함으로써 획득될 수 있다.
Figure 112014112011151-pat00046
Figure 112014112011151-pat00047
및
Figure 112014112011151-pat00048
은 각각 1차원 함수이므로, 해를 구하는 계산은 용이할 수 있다.
일 측면에 따르면, 데이터 비용 함수의 하나 이상의 파라미터 및 평탄 비용 함수의 하나 이상의 파라미터는 지상-검증(ground-truth) 양안 시차 맵을 이용하여 훈련(training)된 값일 수 있다. 지상-검증 양안 시차 맵은 시차를 계산할 수 있는 카메라에 의해 생성된 시차 맵일 수 있다.
예를 들어, 파라미터들(λ, σ, Co, Ci)은 지상-검증 양안 시차 맵을 이용하여 훈련된 값일 수 있다. 파라미터들은 하기의 [수학식 13]으로 정의될 수 있다.
Figure 112014112011151-pat00049
지상-검증 양안 시차 맵이 존재하는 N개의 훈련 데이터를 이용하여 하기의 [수학식 14]와 같이 추정 시차 맵과의 오차에 대한 평균값을 최소화하도록 Θ를 계산할 수 있다.
Figure 112014112011151-pat00050
여기에서,
Figure 112014112011151-pat00051
는 지상-검증 양안 시차 맵 및 추정 시차 맵을 비교하는 오차 함수일 수 있다. 오차 함수는 지상-검증 양안 시차 맵 및 추정 시차 맵 간에 서로 일치하지 않는 픽셀의 비율을 나타낼 수 있다.
예를 들어, 파라미터를 훈련하는 방법은 조정 강하 기법(coordinate descent method) 또는 입자 무리 최적화(particle swarm optimization)가 이용될 수 있다.
앞서 도 1 내지 도 5를 참조하여 설명된 기술적 내용들이 그대로 적용될 수 있으므로, 보다 상세한 설명은 이하 생략하기로 한다.
도 7은 일 예에 따른 다른 확률분포의 성분들을 최적화하는 방법의 흐름도이다.
전술된 단계(630)는 하기의 단계들(710 내지 740)을 포함할 수 있다.
단계(710)에서, 매칭부(430)는
Figure 112014112011151-pat00052
및
Figure 112014112011151-pat00053
의 값을 초기화할 수 있다.
단계(720)에서, 매칭부(430)는
Figure 112014112011151-pat00054
및
Figure 112014112011151-pat00055
의 값을 각각 계산할 수 있다.
단계(730)에서, 매칭부(440)는
Figure 112014112011151-pat00056
및
Figure 112014112011151-pat00057
의 값이 수렴하는지 여부 또는 단계(720)가 소정의 횟수 이상 반복되었는지 여부를 판단할 수 있다.
Figure 112014112011151-pat00058
및
Figure 112014112011151-pat00059
의 값이 수렴하는 경우 또는 단계(720)가 소정의 횟수 이상 반복된 경우, 단계(740)가 수행될 수 있다.
단계(740)에서, 매칭부(430)는 시차 맵들을 각각 추정할 수 있다.
매칭부(430)는 추정된 시차 맵들을 이용하여 복수의 영상들 간의 픽셀들을 서로 매칭할 수 있다.
양안 시차 맵 생성부(440)는 서로 매칭된 픽셀들에 기반하여 복수의 영상들의 양안 시차 맵을 각각 생성할 수 있다.
앞서 도 1 내지 도 6을 참조하여 설명된 기술적 내용들이 그대로 적용될 수 있으므로, 보다 상세한 설명은 이하 생략하기로 한다.
도 8은 일 예에 따른 픽셀의 주변 관계를 설정하는 방법의 흐름도이다.
평탄 비용을 구하기 위해 평균 장 점근법을 이용하는 경우, 계산의 복잡도가 매우 감소될 수 있다. 계산의 복잡도가 매우 감소되기 때문에, 픽셀의 주변 픽셀들의 개수를 상당히 늘릴 수 있다.
하기의 단계들(810 및 820) 및 하기의 단계(830)는 선택적 또는 병렬적으로 수행될 수 있다.
장치(400)는 설정부(도시되지 않음)를 더 포함할 수 있다.
단계(810)에서, 설정부는 복수의 영상들 및 복수의 영상들의 양안 시차 맵들을 하나 이상의 스케일로 변환할 수 있다.
단계(820)에서, 설정부는 인접한 스케일의 영상들 간에 픽셀의 주변 관계를 설정할 수 있다.
단계(830)에서, 설정부는 동영상에 대한 스테레오 영상 매칭을 수행하는 경우, 인접한 시간의 영상들 또는 프레임들 간에 픽셀의 주변 관계를 설정할 수 있다. 예를 들어, 인접한 시간의 영상들 또는 프레임들은 연속적으로 촬영 또는 생성된 영상들 또는 프레임들일 수 있다.
설정부는 동일한 시점에서 연속적으로 촬영된 영상들에 대해서 어느 영상의 픽셀에 대한 주변 관계를 다른 영상들에 대해 설정할 수 있다.
예를 들어, 설정부는 t번째 영상의 A 픽셀에 대한 주변 관계를 t+1번째 영상의 복수의 픽셀들에 대해 설정할 수 있다. t+1번째 영상의 복수의 픽셀들의 영상 내 좌표는 A 픽셀의 영상 내 좌표와 소정의 거리 이내일 수 있다.
인접한 시간의 영상들 또는 프레임을 연결하는 경우 시차 맵의 오차가 시간 축에 따라 완화되는 효과가 발생할 수 있다.
단계(510)에서, 데이터 비용 계산부(410)는 설정된 주변 관계를 이용하여 데이터 비용을 계산할 수 있다.
단계(520)에서, 평탄 비용 계산부(420)는 설정된 주변 관계를 이용하여 평탄 비용을 계산할 수 있다.
단계(530)에서, 매칭부(430)는 주변 관계를 이용하여 생성된 데이터 비용 및 평탄 비용에 기반하여 복수의 영상들 간의 픽셀들을 서로 매칭할 수 있다. 예를 들어, 매칭부(430)는 주변 관계를 이용하여 생성된 데이터 비용 함수 및 평탄 함수를 이용하여 복수의 영상들 간의 픽셀들을 서로 매칭할 수 있다.
일 측면에 따르면, 매칭부(430)는 하나 이상의 스케일로 변환된 복수의 영상들에 대한 데이터 비용 및 하나 이상의 스케일로 변환된 양안 시차 맵들에 대한 평탄 비용에 기반하여 복수의 영상들 간의 픽셀들을 서로 매칭할 수 있다.
다른 일 측면에 따르면, 매칭부(430)는 동일한 시점에서 연속적으로 촬영된 영상들에 대해서 어느 영상의 픽셀에 대한 주변 관계가 다른 영상들에 대해 설정된 경우, 픽셀 및 픽셀의 주변 관계를 이용하여 복수의 영상들 간의 픽셀들을 서로 매칭할 수 있다.
앞서 도 1 내지 도 7을 참조하여 설명된 기술적 내용들이 그대로 적용될 수 있으므로, 보다 상세한 설명은 이하 생략하기로 한다.
도 9는 일 예에 따른 스테레오 영상들의 매칭에 의해 생성된 양안 시차 맵을 도시한다.
도 9는 평균 장 점근법을 이용하여 복수의 영상들의 픽셀들을 서로 매칭하는 방법에 의해 생성된 양안 시차 맵이다.
도 3과 도 9를 비교하면, 도 3에서 발생한 오류(312)가 도 9에서는 발생되지 않는다.
앞서 도 1 내지 도 8을 참조하여 설명된 기술적 내용들이 그대로 적용될 수 있으므로, 보다 상세한 설명은 이하 생략하기로 한다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.
　　이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
400: 스테레오 영상 매칭 장치
410: 데이터 비용 계산부
420: 평탄 비용 계산부
430: 매칭부
440: 양안 시차 맵 생성부

Claims (19)

  1. 복수의 영상들에 대한 데이터 비용(data cost)을 계산하는 단계 - 상기 복수의 영상들은 동일한 장면(scene)을 촬영한, 시점이 서로 상이한 영상들임 -;
    상기 복수의 영상들 각각에 대한 평탄 비용(smoothness cost)을 계산하는 단계; 및
    상기 데이터 비용 및 상기 평탄 비용에 기반하여 복수의 영상들 간의 픽셀들을 서로 매칭하는 단계
    를 포함하고,
    상기 데이터 비용은 상기 복수의 영상들의 양안 시차(disparity) 정보에 따른 상기 픽셀들 간의 기하학적 관계에 기반하여 계산되고,
    상기 데이터 비용을 계산할 때 상기 기하학적 관계를 고려하여 영상의 하나 이상의 픽셀에 비용을 각각 할당하고,
    상기 데이터 비용을 계산할 때 상기 기하학적 관계에 의해 발생할 수 없는 구조를 가지는 픽셀에 대해 소정의 비용을 할당하고,
    상기 평탄 비용은 영상의 픽셀 및 상기 픽셀의 주변 픽셀들 간의 양안 시차의 유사성에 기반하여 계산되는,
    스테레오 영상 매칭 방법.
  2. 제1항에 있어서,
    상기 매칭하는 단계는,
    평균 장 점근법(mean field approximation)을 이용하여 상기 픽셀들을 서로 매칭하는 단계
    를 포함하는,
    스테레오 영상 매칭 방법.
  3. 제1항에 있어서,
    상기 매칭하는 단계는,
    상기 데이터 비용 및 상기 평탄 비용에 기반하여 사후 확률분포(posterior probability distribution)를 생성하는 단계; 및
    상기 사후 확률분포를 최대화하도록 상기 픽셀들을 서로 매칭하는 단계
    를 포함하는,
    스테레오 영상 매칭 방법.
  4. 제3항에 있어서,
    상기 사후 확률분포를 최대화하도록 상기 픽셀들을 서로 매칭하는 단계는,
    상기 사후 확률분포를 성분들이 서로 독립적인 다른 확률분포로 변환하는 단계; 및
    상기 다른 확률분포를 최대화하도록 상기 픽셀들을 서로 매칭하는 단계
    를 포함하는,
    스테레오 영상 매칭 방법.
  5. 제4항에 있어서,
    상기 다른 확률분포는 상기 다른 확률분포 및 상기 사후 확률분포 간의 쿨백-라이블러 발산(Kullback-Leibler divergence)을 최소화하는,
    스테레오 영상 매칭 방법.
  6. 제4항에 있어서,
    상기 성분들은 각각의 확률분포이며, 상기 각각의 확률분포의 합은 1인,
    스테레오 영상 매칭 방법.
  7. 제1항에 있어서,
    상기 주변 픽셀들은 상기 픽셀이 포함된 영상 내의 모든 픽셀들인,
    스테레오 영상 매칭 방법.
  8. 삭제
  9. 삭제
  10. 제1항에 있어서,
    상기 소정의 비용은 상기 픽셀들을 서로 매칭하는 단계가 반복적으로 수행됨에 따라 조정되는,
    스테레오 영상 매칭 방법.
  11. 제1항에 있어서,
    상기 픽셀들을 서로 매칭하는 단계는,
    상기 데이터 비용 및 상기 평탄 비용의 합이 최소가 되도록 상기 픽셀들을 서로 매칭하는 단계
    를 포함하는,
    스테레오 영상 매칭 방법.
  12. 제11항에 있어서,
    상기 픽셀들을 서로 매칭하는 단계는,
    상기 평탄 비용에 규칙화 계수(regularization coefficient)를 적용함으로써 상기 합이 최소가 되도록 상기 픽셀들을 서로 매칭하는 단계
    를 포함하는,
    스테레오 영상 매칭 방법.
  13. 제1항에 있어서,
    상기 데이터 비용을 계산하기 위한 데이터 비용 함수의 하나 이상의 파라미터 및 상기 평탄 비용을 계산하기 위한 평탄 비용 함수의 하나 이상의 파라미터는 지상-검증(ground-truth) 양안 시차 맵을 이용하여 훈련된(training) 값인,
    스테레오 영상 매칭 방법.
  14. 제1항에 있어서,
    상기 복수의 영상들 및 상기 복수의 영상들의 양안 시차 맵들을 하나 이상의 스케일로 변환하는 단계
    를 더 포함하고,
    상기 매칭하는 단계는,
    상기 하나 이상의 스케일로 변환된 복수의 영상들에 대한 데이터 비용 및 하나 이상의 스케일로 변환된 양안 시차 맵들에 대한 평탄 비용에 기반하여 상기 복수의 영상들 간의 픽셀들을 서로 매칭하는 단계
    를 포함하는,
    스테레오 영상 매칭 방법.
  15. 제1항에 있어서,
    상기 서로 매칭된 픽셀들에 기반하여 상기 복수의 영상들의 양안 시차 맵을 각각 생성하는 단계
    를 더 포함하는,
    스테레오 영상 매칭 방법.
  16. 제1항에 있어서,
    동일한 시점에서 연속적으로 촬영된 영상들에 대해서 상기 영상들 중 어느 하나의 영상의 픽셀에 대한 주변 관계를 다른 영상에 대해 설정하는 단계
    를 더 포함하고,
    상기 매칭하는 단계는 상기 픽셀 및 상기 픽셀의 주변 관계를 이용하여 상기 복수의 영상들 간의 픽셀들을 서로 매칭하는 단계
    를 포함하는,
    스테레오 영상 매칭 방법.
  17. 복수의 영상들에 대한 데이터 비용(data cost)을 계산하기 위한 데이터 비용 계산부 - 상기 복수의 영상들은 동일한 장면(scene)을 촬영한, 시점이 서로 상이한 영상들임 -;
    상기 복수의 영상들 각각에 대한 평탄 비용(smoothness cost)을 계산하기 위한 평탄 비용 계산부; 및
    상기 데이터 비용 및 상기 평탄 비용에 기반하여 복수의 영상들 간의 픽셀들을 서로 매칭하는 매칭부
    를 포함하고,
    상기 데이터 비용 계산부는 상기 복수의 영상들의 양안 시차(disparity) 정보에 따른 상기 픽셀들 간의 기하학적 관계에 기반하여 상기 데이터 비용을 계산하고,
    상기 데이터 비용을 계산할 때 상기 기하학적 관계를 고려하여 영상의 하나 이상의 픽셀에 비용을 각각 할당하고,
    상기 데이터 비용을 계산할 때 상기 기하학적 관계에 의해 발생할 수 없는 구조를 가지는 픽셀에 대해 소정의 비용을 할당하고,
    상기 평탄 비용 계산부는 영상의 픽셀 및 상기 픽셀의 주변 픽셀들 간의 양안 시차의 유사성에 기반하여 상기 평탄 비용을 계산하는,
    스테레오 영상 매칭 장치.
  18. 제17항에 있어서,
    상기 매칭부는 평균 장 점근법(mean field approximation)을 이용하여 상기 픽셀들을 서로 매칭하는,
    스테레오 영상 매칭 장치.
  19. 제17항에 있어서,
    상기 매칭부는 상기 데이터 비용 및 상기 평탄 비용에 기반하여 사후 확률분포(posterior probability distribution)를 생성하고, 상기 사후 확률분포를 최대화하도록 상기 픽셀들을 서로 매칭하는,
    스테레오 영상 매칭 장치.
KR1020140162525A 2014-11-20 2014-11-20 스테레오 영상 매칭 방법 및 장치 KR102350232B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020140162525A KR102350232B1 (ko) 2014-11-20 2014-11-20 스테레오 영상 매칭 방법 및 장치
US14/722,551 US9832454B2 (en) 2014-11-20 2015-05-27 Method and apparatus for matching stereo images

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140162525A KR102350232B1 (ko) 2014-11-20 2014-11-20 스테레오 영상 매칭 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20160060358A KR20160060358A (ko) 2016-05-30
KR102350232B1 true KR102350232B1 (ko) 2022-01-13

Family

ID=56011516

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140162525A KR102350232B1 (ko) 2014-11-20 2014-11-20 스테레오 영상 매칭 방법 및 장치

Country Status (2)

Country Link
US (1) US9832454B2 (ko)
KR (1) KR102350232B1 (ko)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102214934B1 (ko) * 2014-07-18 2021-02-10 삼성전자주식회사 단항 신뢰도 및 쌍별 신뢰도 학습을 통한 스테레오 매칭 장치 및 방법
CN107211118B (zh) * 2014-12-31 2020-02-07 诺基亚技术有限公司 立体成像
KR102415505B1 (ko) 2015-12-14 2022-07-01 삼성전자주식회사 스테레오 영상 매칭 방법 및 장치
KR101856344B1 (ko) * 2016-08-22 2018-06-25 현대자동차주식회사 스테레오 영상 정합을 통한 시차맵 생성 시스템 및 방법
US10165257B2 (en) 2016-09-28 2018-12-25 Intel Corporation Robust disparity estimation in the presence of significant intensity variations for camera arrays
US10621446B2 (en) * 2016-12-22 2020-04-14 Texas Instruments Incorporated Handling perspective magnification in optical flow processing
WO2018147329A1 (ja) * 2017-02-10 2018-08-16 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 自由視点映像生成方法及び自由視点映像生成システム
KR102450236B1 (ko) * 2017-09-06 2022-10-04 삼성전자주식회사 전자 장치, 그 제어 방법 및 컴퓨터 판독가능 기록 매체
WO2019127049A1 (zh) * 2017-12-26 2019-07-04 深圳配天智能技术研究院有限公司 一种图像匹配方法、装置及存储介质
CN108154529B (zh) * 2018-01-04 2021-11-23 北京大学深圳研究生院 一种双目图像的立体匹配方法及系统
CN109191513B (zh) * 2018-08-28 2020-10-16 江苏久创电气科技有限公司 基于全局优化的电力设备立体匹配方法
CN109919993B (zh) * 2019-03-12 2023-11-07 腾讯科技（深圳）有限公司 视差图获取方法、装置和设备及控制系统
KR20210056540A (ko) * 2019-11-11 2021-05-20 삼성전자주식회사 디스패리티 이미지를 생성하는 알고리즘 갱신 방법 및 장치

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013206468A (ja) * 2012-03-27 2013-10-07 Fujitsu Ltd ステレオマッチングのための方法及びステレオマッチングのためのシステム

Family Cites Families (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100428604B1 (ko) 1997-06-30 2004-06-16 주식회사 대우일렉트로닉스 3차원 데이터 취득시점 자동제어방법
US6556704B1 (en) * 1999-08-25 2003-04-29 Eastman Kodak Company Method for forming a depth image from digital image data
US7200243B2 (en) 2002-06-28 2007-04-03 The United States Of America As Represented By The Secretary Of The Army Spectral mixture process conditioned by spatially-smooth partitioning
JP2006285952A (ja) * 2005-03-11 2006-10-19 Sony Corp 画像処理方法、画像処理装置、プログラムおよび記録媒体
US7499586B2 (en) * 2005-10-04 2009-03-03 Microsoft Corporation Photographing big things
JP2007259177A (ja) 2006-03-24 2007-10-04 Fujifilm Corp 撮像装置およびその制御方法
JP5160640B2 (ja) * 2007-06-20 2013-03-13 トムソン ライセンシング 画像のステレオ・マッチングのためのシステム及び方法
US8280149B2 (en) * 2007-09-11 2012-10-02 Motorola Solutions, Inc. Method and apparatus to facilitate processing a stereoscopic image using first and second images to facilitate computing a depth/disparity image
EP2274920B1 (en) * 2008-05-12 2019-01-16 InterDigital Madison Patent Holdings System and method for measuring potential eyestrain of stereoscopic motion pictures
CN102077246A (zh) * 2008-06-24 2011-05-25 汤姆森特许公司 利用运动补偿进行图像的深度提取的系统和方法
US8571303B2 (en) 2008-11-25 2013-10-29 Nec System Technologies, Ltd. Stereo matching processing system, stereo matching processing method and recording medium
KR101558573B1 (ko) * 2008-12-26 2015-10-07 엘지이노텍 주식회사 스테레오 카메라 영상 합성 방법
US8761491B2 (en) * 2009-02-06 2014-06-24 Himax Technologies Limited Stereo-matching processor using belief propagation
US8798965B2 (en) * 2009-02-06 2014-08-05 The Hong Kong University Of Science And Technology Generating three-dimensional models from images
US9098926B2 (en) * 2009-02-06 2015-08-04 The Hong Kong University Of Science And Technology Generating three-dimensional façade models from images
US8933925B2 (en) * 2009-06-15 2015-01-13 Microsoft Corporation Piecewise planar reconstruction of three-dimensional scenes
JP4934701B2 (ja) 2009-06-30 2012-05-16 株式会社日立製作所 ステレオ画像処理装置およびステレオ画像処理方法
KR101088144B1 (ko) 2009-08-07 2011-12-02 한국외국어대학교 연구산학협력단 스테레오 카메라를 이용한물체의 거리 측정 방법
US8385630B2 (en) * 2010-01-05 2013-02-26 Sri International System and method of processing stereo images
US8514269B2 (en) * 2010-03-26 2013-08-20 Microsoft Corporation De-aliasing depth images
KR101633377B1 (ko) * 2010-06-18 2016-07-08 삼성전자주식회사 다중 노출에 의한 프레임 처리 방법 및 장치
US8428342B2 (en) * 2010-08-12 2013-04-23 At&T Intellectual Property I, L.P. Apparatus and method for providing three dimensional media content
CN103238337B (zh) 2010-11-23 2016-03-16 深圳超多维光电子有限公司 立体图像获取系统及方法
US8670630B1 (en) * 2010-12-09 2014-03-11 Google Inc. Fast randomized multi-scale energy minimization for image processing
KR101694292B1 (ko) 2010-12-17 2017-01-09 한국전자통신연구원 스테레오 영상 정합 장치 및 그 방법
CN103597837B (zh) 2011-06-15 2018-05-04 寰发股份有限公司 推导运动和视差矢量的方法及装置
US20140198977A1 (en) 2012-03-21 2014-07-17 Texas Instruments Incorporated Enhancement of Stereo Depth Maps
US9659372B2 (en) * 2012-05-17 2017-05-23 The Regents Of The University Of California Video disparity estimate space-time refinement method and codec
US9135710B2 (en) * 2012-11-30 2015-09-15 Adobe Systems Incorporated Depth map stereo correspondence techniques
US10455219B2 (en) * 2012-11-30 2019-10-22 Adobe Inc. Stereo correspondence and depth sensors
US10249052B2 (en) * 2012-12-19 2019-04-02 Adobe Systems Incorporated Stereo correspondence model fitting
US9208547B2 (en) * 2012-12-19 2015-12-08 Adobe Systems Incorporated Stereo correspondence smoothness tool
US9214026B2 (en) * 2012-12-20 2015-12-15 Adobe Systems Incorporated Belief propagation and affinity measures
JP2014206893A (ja) * 2013-04-15 2014-10-30 ソニー株式会社 画像処理装置と画像処理方法およびプログラム
US9392189B2 (en) * 2014-02-28 2016-07-12 Intel Corporation Mechanism for facilitating fast and efficient calculations for hybrid camera arrays
KR102214934B1 (ko) 2014-07-18 2021-02-10 삼성전자주식회사 단항 신뢰도 및 쌍별 신뢰도 학습을 통한 스테레오 매칭 장치 및 방법
US9571819B1 (en) * 2014-09-16 2017-02-14 Google Inc. Efficient dense stereo computation

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013206468A (ja) * 2012-03-27 2013-10-07 Fujitsu Ltd ステレオマッチングのための方法及びステレオマッチングのためのシステム

Also Published As

Publication number Publication date
US9832454B2 (en) 2017-11-28
US20160150210A1 (en) 2016-05-26
KR20160060358A (ko) 2016-05-30

Similar Documents

Publication Publication Date Title
KR102350232B1 (ko) 스테레오 영상 매칭 방법 및 장치
US10540806B2 (en) Systems and methods for depth-assisted perspective distortion correction
US10269130B2 (en) Methods and apparatus for control of light field capture object distance adjustment range via adjusting bending degree of sensor imaging zone
US9047681B2 (en) Depth image conversion apparatus and method
KR102415505B1 (ko) 스테레오 영상 매칭 방법 및 장치
JP6872285B2 (ja) 画像処理のためのシステムおよび方法
US9117295B2 (en) Refinement of depth maps by fusion of multiple estimates
US9454851B2 (en) Efficient approach to estimate disparity map
KR20100119559A (ko) 2ｄ 이미지 데이터를 스테레오스코픽 이미지 데이터로 변환하기 위한 방법 및 시스템
KR102380862B1 (ko) 영상 처리 방법 및 장치
US9519956B2 (en) Processing stereo images
KR101290197B1 (ko) 영상의 깊이 정보 추정 장치 및 방법
CN110059602B (zh) 一种基于正投影特征变换的俯视人脸矫正方法
KR20170091496A (ko) 양안 시차 영상의 처리 방법 및 장치
CN110971827B (zh) 人像模式拍摄方法、装置、终端设备和存储介质
CN104639927A (zh) 拍摄立体影像的方法以及电子装置
JP2017021759A (ja) 画像処理装置、画像処理方法及びプログラム
US10154241B2 (en) Depth map based perspective correction in digital photos
US9171357B2 (en) Method, apparatus and computer-readable recording medium for refocusing photographed image
JP2013185905A (ja) 情報処理装置及び方法、並びにプログラム
Lee et al. Automatic 2d-to-3d conversion using multi-scale deep neural network
JP7047848B2 (ja) 顔三次元形状推定装置、顔三次元形状推定方法、及び、顔三次元形状推定プログラム
JP6601893B2 (ja) 画像処理装置、画像処理方法、及びプログラム
KR20200057929A (ko) 캘리브레이트된 카메라들에 의해 캡쳐된 스테레오 영상들의 렉티피케이션 방법과 컴퓨터 프로그램
US20140292748A1 (en) System and method for providing stereoscopic image by adjusting depth value

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right