KR102214934B1 - 단항 신뢰도 및 쌍별 신뢰도 학습을 통한 스테레오 매칭 장치 및 방법 - Google Patents
단항 신뢰도 및 쌍별 신뢰도 학습을 통한 스테레오 매칭 장치 및 방법 Download PDFInfo
- Publication number
- KR102214934B1 KR102214934B1 KR1020140091042A KR20140091042A KR102214934B1 KR 102214934 B1 KR102214934 B1 KR 102214934B1 KR 1020140091042 A KR1020140091042 A KR 1020140091042A KR 20140091042 A KR20140091042 A KR 20140091042A KR 102214934 B1 KR102214934 B1 KR 102214934B1
- Authority
- KR
- South Korea
- Prior art keywords
- reliability
- confidence measure
- current pixel
- cost
- stereo matching
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
- H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
Abstract
단항 신뢰도 및 쌍별 신뢰도 학습을 통한 스테레오 매칭 장치 및 방법이 개시된다. 스테레오 매칭 방법은 현재 픽셀과 이웃 픽셀간의 관계를 나타내는 쌍별 신뢰도(pairwise confidence)를 학습하는 단계; 상기 쌍별 신뢰도를 기초로 스테레오 매칭의 비용 함수(cost function)를 결정하는 단계; 및 상기 비용 함수를 이용하여 최소 비용으로 좌영상과 우영상을 스테레오 매칭하는 단계를 포함할 수 있다.
Description
이하의 일실시예들은 스테레오 매칭 장치 및 방법에 관한 것으로 픽셀과 관련된 신뢰도를 학습하여 결정한 비용 함수를 이용하여 최소 비용으로 스테레오 매칭하는 장치 및 방법에 관한 것이다.
좌영상과 우영상을 이용한 3차원 영상 재현 기술이 상용화됨에 따라 좌영상과 우영상 간의 대응 픽셀을 찾기 위한 스테레오 매칭이 개발되었다.
스테레오 매칭은 좌영상과 우영상을 매칭하여 좌영상의 양안시차 정보 및 우영상의 시차 정보를 출력할 수 있다. 구체적으로, 스테레오 매칭은 좌영상의 픽셀에 대응할 가능성이 있는 우영상의 픽셀들과 좌영상의 픽셀 간의 유사성을 판단하기 위한 데이터 비용을 결정할 수 있다. 다음으로, 스테레오 매칭은 데이터 비용이 포함된 비용 함수를 최소화하는 양안시차 정보를 좌영상의 양안시차 정보 및 우영상의 시차 정보로 결정할 수 있다.
그러나, 좌영상, 또는 우영상에 포함된 오브젝트의 크기는 픽셀 보다 크며, 오브젝트들 각각에 포함된 픽셀들은 컬러가 유사하므로, 좌영상의 픽셀에 대응하지 않는 우영상의 픽셀과 좌영상의 픽셀 간의 양안시차가 좌영상에 대응하는 우영상의 픽셀과 좌영상의 픽셀 간의 양안시차보다 작을 수 있다. 이때, 비용 함수를 최소화하는 과정에서 오류가 발생하여 부정확한 양안시차 정보를 좌영상의 양안시차 정보 및 우영상의 양안시차 정보로 결정할 수 있다.
따라서, 스테레오 매칭 과정의 오류를 최소화할 수 있는 비용 함수가 요구된다.
일실시예에 따른 스테레오 매칭 방법은 현재 픽셀과 이웃 픽셀간의 관계를 나타내는 쌍별 신뢰도(pairwise confidence)를 학습하는 단계; 상기 제1 쌍별 신뢰도를 기초로 스테레오 매칭의 비용 함수(cost function)를 결정하는 단계; 및 상기 비용 함수를 이용하여 최소 비용으로 좌영상과 우영상을 스테레오 매칭하는 단계를 포함할 수 있다.
일실시예에 따른 스테레오 매칭 방법의 쌍별 신뢰도를 학습하는 단계는, 현재 프레임에 포함된 현재 픽셀과 이웃 픽셀 간의 관계를 나타내는 제1 쌍별 신뢰도를 학습하는 단계; 또는 현재 프레임에 포함된 현재 픽셀과 이전 프레임에 포함된 이웃 픽셀 간의 관계를 학습하는 단계를 포함할 수 있다.
일실시예에 따른 스테레오 매칭 방법의 제1 쌍별 신뢰도를 학습하는 단계는 좌영상, 우영상, 좌영상의 데이터 비용 및 우영상의 데이터 비용으로부터 현재 픽셀의 양안시차와 이웃 픽셀의 양안시차 간의 유사도와 관련된 신뢰측도를 추출하는 단계; 검증된 불연속 정보에서 상기 신뢰측도에 대한 응답을 추출하는 단계; 및 추출한 신뢰측도 및 상기 응답 간의 관계를 학습하는 단계를 포함할 수 있다.
일실시예에 따른 스테레오 매칭 방법의 신뢰측도를 추출하는 단계는 상기 현재 픽셀과 상기 이웃 픽셀 간의 컬러 유사도에 대한 신뢰측도, 상기 현재 픽셀과 상기 이웃 픽셀 간의 위치 유사도에 대한 신뢰측도, 및 상기 현재 픽셀과 상기 이웃 픽셀 간의 양안시차 유사도에 대한 신뢰측도 중 적어도 하나를 추출할 수 있다.
일실시예에 따른 스테레오 매칭 방법의 제2 쌍별 신뢰도를 학습하는 단계는 좌영상, 우영상, 좌영상의 데이터 비용 및 우영상의 데이터 비용으로부터 이전 프레임의 양안시차와 현재 프레임의 양안시차 간의 유사도와 관련된 신뢰측도를 추출하는 단계; 검증된 양안시차 비디오(Disparity video)에서 상기 신뢰측도에 대한 응답을 추출하는 단계; 및 추출한 신뢰측도 및 상기 응답 간의 관계를 학습하는 단계를 포함할 수 있다.
일실시예에 따른 스테레오 매칭 방법의 비용 함수를 결정하는 단계는 좌영상의 데이터 비용, 우영상의 데이터 비용, 현재 픽셀의 양안시차와 이웃 픽셀의 양안시차 간의 유사도, 및 상기 제1 쌍별 신뢰도를 이용하여 상기 비용 함수를 결정할 수 있다.
일실시예에 따른 스테레오 매칭 방법은 현재 픽셀의 데이터 비용과 관련된 단항 신뢰도(unary confidence)를 학습하는 단계를 더 포함하고, 상기 비용 함수를 결정하는 단계는 상기 단항 신뢰도 및 상기 쌍별 신뢰도를 기초로 스테레오 매칭의 비용 함수를 결정할 수 있다.
일실시예에 따른 스테레오 매칭 방법의 단항 신뢰도를 학습하는 단계는 좌영상, 우영상, 좌영상의 데이터 비용 및 우영상의 데이터 비용으로부터 현재 픽셀이 폐색 영역(Occlusion area)에 포함되는지 여부와 관련된 신뢰측도를 추출하는 단계; 검증된 폐색 영역 정보에서 상기 신뢰측도에 대한 응답을 추출하는 단계; 및 추출한 신뢰측도 및 상기 응답 간의 관계를 학습하는 단계를 포함할 수 있다.
일실시예에 따른 스테레오 매칭 방법의 신뢰측도를 추출하는 단계는 최소화한 데이터 비용의 유일성, 또는 특이성에 대한 신뢰측도, 현재 픽셀이 폐색 영역에 포함되는지에 대한 신뢰측도, 현재 픽셀에 포함된 텍스처에 대한 신뢰측도 중 적어도 하나를 추출할 수 있다.
일실시예에 따른 스테레오 매칭 방법의 단항 신뢰도를 학습하는 단계는 좌영상, 우영상, 좌영상의 데이터 비용 및 우영상의 데이터 비용으로부터 현재 픽셀의 양안시차의 정확도와 관련된 신뢰측도를 추출하는 단계; 검증된 양안시차 정보에서 상기 신뢰측도에 대한 응답을 추출하는 단계; 및 추출한 신뢰측도 및 상기 응답 간의 관계를 학습하는 단계를 포함할 수 있다.
일실시예에 따른 스테레오 매칭 방법의 신뢰측도를 추출하는 단계는 최소화한 좌영상의 데이터 비용이 최소화한 우영상의 데이터 비용과 동일한지 여부에 대한 신뢰측도, 현재 픽셀이 폐색 영역에 포함되는지에 대한 신뢰측도, 현재 픽셀에 포함된 텍스처에 대한 신뢰측도 중 적어도 하나를 추출할 수 있다.
일실시예에 따른 스테레오 매칭 방법은 현재 픽셀이 폐색 영역(Occlusion area)에 포함되는지 여부를 나타내는 단항 신뢰도(unary confidence)를 학습하는 단계; 상기 단항 신뢰도를 기초로 스테레오 매칭의 비용 함수를 결정하는 단계; 및 상기 비용 함수를 이용하여 최소 비용으로 좌영상과 우영상을 스테레오 매칭하는 단계를 포함할 수 있다.
일실시예에 따른 스테레오 매칭 방법의 단항 신뢰도를 학습하는 단계는 좌영상, 우영상, 좌영상의 데이터 비용 및 우영상의 데이터 비용으로부터 현재 픽셀이 폐색 영역(Occlusion area)에 포함되는지 여부와 관련된 신뢰측도를 추출하는 단계; 검증된 폐색 영역 정보에서 상기 신뢰측도에 대한 응답을 추출하는 단계; 및 추출한 신뢰측도 및 상기 응답 간의 관계를 학습하는 단계를 포함할 수 있다.
일실시예에 따른 스테레오 매칭 방법은 현재 픽셀과 이웃 픽셀간의 관계를 나타내는 쌍별 신뢰도(pairwise confidence)를 학습하는 단계를 더 포함하고, 상기 비용 함수를 결정하는 단계는 상기 단항 신뢰도 및 상기 쌍별 신뢰도를 기초로 스테레오 매칭의 비용 함수를 결정할 수 있다.
일실시예에 따른 스테레오 매칭 장치는 현재 픽셀과 이웃 픽셀간의 관계를 나타내는 쌍별 신뢰도(pairwise confidence)를 학습하는 쌍별 신뢰도 학습부; 상기 쌍별 신뢰도를 기초로 스테레오 매칭의 비용 함수(cost function)를 결정하는 비용 함수 결정부; 및 상기 비용 함수를 이용하여 최소 비용으로 좌영상과 우영상을 스테레오 매칭하는 스테레오 매칭부를 포함할 수 있다.
일실시예에 따른 스테레오 매칭 장치의 쌍별 신뢰도 학습부는, 현재 프레임에 포함된 현재 픽셀과 이웃 픽셀 간의 관계를 나타내는 제1 쌍별 신뢰도를 학습하는 제1 쌍별 신뢰도 학습부; 또는 현재 프레임에 포함된 현재 픽셀과 이전 프레임에 포함된 이웃 픽셀 간의 관계를 나타내는 제2 쌍별 신뢰도를 학습하는 제2 쌍별 신뢰도 학습부를 포함할 수 있다.
일실시예에 따른 스테레오 매칭 장치의 제1 쌍별 신뢰도 학습부는 좌영상, 우영상, 좌영상의 데이터 비용 및 우영상의 데이터 비용으로부터 현재 픽셀의 양안시차와 이웃 픽셀의 양안시차 간의 유사도와 관련된 신뢰측도(Confidence Measure)를 추출하는 신뢰측도 추출부; 검증된 불연속 정보에서 상기 신뢰측도에 대한 응답을 추출하는 응답 추출부; 및 추출한 신뢰측도 및 상기 응답 간의 관계를 학습하는 신뢰도 학습부를 포함할 수 있다.
일실시예에 따른 스테레오 매칭 장치의 신뢰측도 추출부는 상기 현재 픽셀과 상기 이웃 픽셀 간의 컬러 유사도에 대한 신뢰측도, 상기 현재 픽셀과 상기 이웃 픽셀 간의 위치 유사도에 대한 신뢰측도, 및 상기 현재 픽셀과 상기 이웃 픽셀 간의 양안시차 유사도에 대한 신뢰측도 중 적어도 하나를 추출할 수 있다.
일실시예에 따른 스테레오 매칭 장치의 제2 쌍별 신뢰도 학습부는 좌영상, 우영상, 좌영상의 데이터 비용 및 우영상의 데이터 비용으로부터 이전 프레임의 양안시차와 현재 프레임의 양안시차 간의 유사도와 관련된 신뢰측도를 추출하는 신뢰측도 추출부; 검증된 양안시차 비디오(Disparity video)에서 상기 신뢰측도에 대한 응답을 추출하는 응답 추출부; 및 추출한 신뢰측도 및 상기 응답 간의 관계를 나타내는 제2 쌍별 신뢰도를 학습하는 신뢰도 학습부를 포함할 수 있다.
일실시예에 따른 스테레오 매칭 장치의 비용 함수 결정부는 좌영상의 데이터 비용, 우영상의 데이터 비용, 현재 픽셀의 양안시차와 이웃 픽셀의 양안시차 간의 유사도, 및 상기 제1 쌍별 신뢰도를 이용하여 상기 비용 함수를 결정할 수 있다.
일실시예에 따른 스테레오 매칭 장치는 현재 픽셀의 데이터 비용과 관련된 단항 신뢰도(unary confidence)를 학습하는 단항 신뢰도 학습부를 더 포함하고, 상기 비용 함수 결정부는 상기 단항 신뢰도 및 상기 쌍별 신뢰도를 기초로 스테레오 매칭의 비용 함수를 결정할 수 있다.
일실시예에 따른 스테레오 매칭 장치의 단항 신뢰도 학습부는 좌영상, 우영상, 좌영상의 데이터 비용 및 우영상의 데이터 비용으로부터 현재 픽셀이 폐색 영역(Occlusion area)에 포함되는지 여부와 관련된 신뢰측도를 추출하는 신뢰측도 추출부; 검증된 폐색 영역 정보에서 상기 신뢰측도에 대한 응답을 추출하는 응답 추출부; 및 추출한 신뢰측도 및 상기 응답 간의 관계를 학습하는 신뢰도 학습부를 포함할 수 있다.
일실시예에 따른 스테레오 매칭 장치의 신뢰측도 추출부는 최소화한 데이터 비용의 유일성, 또는 특이성에 대한 신뢰측도, 현재 픽셀이 폐색 영역에 포함되는지에 대한 신뢰측도, 현재 픽셀에 포함된 텍스처에 대한 신뢰측도 중 적어도 하나를 추출할 수 있다.
일실시예에 따른 스테레오 매칭 장치의 단항 신뢰도 학습부는, 좌영상, 우영상, 좌영상의 데이터 비용 및 우영상의 데이터 비용으로부터 현재 픽셀의 양안시차의 정확도와 관련된 신뢰측도를 추출하는 신뢰측도 추출부; 검증된 양안시차 정보에서 상기 신뢰측도에 대한 응답을 추출하는 응답 추출부; 및 추출한 신뢰측도 및 상기 응답 간의 관계를 학습하는 신뢰도 학습부를 포함할 수 있다.
일실시예에 따른 스테레오 매칭 장치의 신뢰측도 추출부는 최소화한 좌영상의 데이터 비용이 최소화한 우영상의 데이터 비용과 동일한지 여부에 대한 신뢰측도, 현재 픽셀이 폐색 영역에 포함되는지에 대한 신뢰측도, 현재 픽셀에 포함된 텍스처에 대한 신뢰측도 중 적어도 하나를 추출할 수 있다.
일실시예에 따른 스테레오 매칭 장치는 현재 픽셀이 폐색 영역(Occlusion area)에 포함되는지 여부를 나타내는 단항 신뢰도(unary confidence)를 학습하는 단항 신뢰도 학습부; 상기 단항 신뢰도를 기초로 스테레오 매칭의 비용 함수를 결정하는 비용 함수 결정부; 및 상기 비용 함수를 이용하여 최소 비용으로 좌영상과 우영상을 스테레오 매칭하는 스테레오 매칭부를 포함할 수 있다.
일실시예에 따른 스테레오 매칭 장치의 단항 신뢰도 학습부는, 좌영상, 우영상, 좌영상의 데이터 비용 및 우영상의 데이터 비용으로부터 현재 픽셀이 폐색 영역(Occlusion area)에 포함되는지 여부와 관련된 신뢰측도를 추출하는 신뢰측도 추출부; 검증된 폐색 영역 정보에서 상기 신뢰측도에 대한 응답을 추출하는 응답 추출부; 및 추출한 신뢰측도 및 상기 응답 간의 관계를 학습하는 신뢰도 학습부를 포함할 수 있다.
일실시예에 따른 스테레오 매칭 장치는 현재 픽셀과 이웃 픽셀간의 관계를 나타내는 쌍별 신뢰도(pairwise confidence)를 학습하는 쌍별 신뢰도 학습부를 더 포함하고, 상기 비용 함수 결정부는 상기 단항 신뢰도 및 상기 쌍별 신뢰도를 기초로 스테레오 매칭의 비용 함수를 결정할 수 있다.
도 1은 일실시예에 따른 스테레오 매칭 장치의 구조를 도시한 도면이다.
도 2는 좌영상과 우영상을 사용한 스테레오 매칭을 도시한 도면이다.
도 3은 좌영상과 우영상 간의 양안시차 및 양안시차를 이용하여 추출한 데이터 비용의 일례이다.
도 4는 일실시예에 따른 스테레오 매칭 장치의 단항 신뢰도 학습부의 구조를 도시한 도면이다.
도 5는 일실시예에 따라 신뢰측도를 추출하는 과정의 일례이다.
도 6은 일실시예에 따라 학습한 단항 신뢰도를 적용한 결과의 일례이다.
도 7은 검증된 양안시차 정보 및 일실시예에 따라 학습한 단항 신뢰도에 따라 추정한 양안시차 정보의 일례이다.
도 8은 검증된 폐쇄 영역 정보 및 일실시예에 따라 학습한 단항 신뢰도에 따라 추정한 폐쇄 영역 정보의 일례이다.
도 9는 일실시예에 따라 단항 신뢰도를 학습하는 과정의 일례이다.
도 10은 일실시예에 따른 스테레오 매칭 장치의 제1 쌍별 신뢰도 학습부의 구조를 도시한 도면이다.
도 11은 일실시예에 따라 제1 쌍별 신뢰도를 학습하는 과정의 일례이다.
도 12는 검증 정보 및 일실시예에 따라 학습한 제1 쌍별 신뢰도에 따라 추정한 결과의 다른 일례이다.
도 13은 일실시예에 따라 제1 쌍별 신뢰도를 학습하는 과정의 일례이다.
도 14는 일실시예에 따라 결정된 비용 함수를 이용하여 획득한 결과의 일례이다.
도 15는 일실시예에 따른 스테레오 매칭 장치의 제2 쌍별 신뢰도 학습부의 구조를 도시한 도면이다.
도 16은 일실시예에 따라 제2 쌍별 신뢰도를 학습하는 과정의 일례이다.
도 17은 일실시예에 따른 스테레오 매칭 방법을 도시한 도면이다.
도 18은 일실시예에 따른 스테레오 매칭 방법에서 단항 신뢰도를 학습하는 방법을 도시한 도면이다.
도 19는 일실시예에 따른 스테레오 매칭 방법에서 제1 쌍별 신뢰도를 학습하는 방법을 도시한 도면이다.
도 20은 일실시예에 따른 스테레오 매칭 방법에서 제2 쌍별 신뢰도를 학습하는 방법을 도시한 도면이다.
도 2는 좌영상과 우영상을 사용한 스테레오 매칭을 도시한 도면이다.
도 3은 좌영상과 우영상 간의 양안시차 및 양안시차를 이용하여 추출한 데이터 비용의 일례이다.
도 4는 일실시예에 따른 스테레오 매칭 장치의 단항 신뢰도 학습부의 구조를 도시한 도면이다.
도 5는 일실시예에 따라 신뢰측도를 추출하는 과정의 일례이다.
도 6은 일실시예에 따라 학습한 단항 신뢰도를 적용한 결과의 일례이다.
도 7은 검증된 양안시차 정보 및 일실시예에 따라 학습한 단항 신뢰도에 따라 추정한 양안시차 정보의 일례이다.
도 8은 검증된 폐쇄 영역 정보 및 일실시예에 따라 학습한 단항 신뢰도에 따라 추정한 폐쇄 영역 정보의 일례이다.
도 9는 일실시예에 따라 단항 신뢰도를 학습하는 과정의 일례이다.
도 10은 일실시예에 따른 스테레오 매칭 장치의 제1 쌍별 신뢰도 학습부의 구조를 도시한 도면이다.
도 11은 일실시예에 따라 제1 쌍별 신뢰도를 학습하는 과정의 일례이다.
도 12는 검증 정보 및 일실시예에 따라 학습한 제1 쌍별 신뢰도에 따라 추정한 결과의 다른 일례이다.
도 13은 일실시예에 따라 제1 쌍별 신뢰도를 학습하는 과정의 일례이다.
도 14는 일실시예에 따라 결정된 비용 함수를 이용하여 획득한 결과의 일례이다.
도 15는 일실시예에 따른 스테레오 매칭 장치의 제2 쌍별 신뢰도 학습부의 구조를 도시한 도면이다.
도 16은 일실시예에 따라 제2 쌍별 신뢰도를 학습하는 과정의 일례이다.
도 17은 일실시예에 따른 스테레오 매칭 방법을 도시한 도면이다.
도 18은 일실시예에 따른 스테레오 매칭 방법에서 단항 신뢰도를 학습하는 방법을 도시한 도면이다.
도 19는 일실시예에 따른 스테레오 매칭 방법에서 제1 쌍별 신뢰도를 학습하는 방법을 도시한 도면이다.
도 20은 일실시예에 따른 스테레오 매칭 방법에서 제2 쌍별 신뢰도를 학습하는 방법을 도시한 도면이다.
이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 실시예에 따른 스테레오 매칭 방법은 스테레오 매칭 장치에 의해 수행될 수 있다.
도 1은 일실시예에 따른 스테레오 매칭 장치의 구조를 도시한 도면이다.
도 1을 참고하면, 스테레오 매칭 장치(100)는 데이터 비용 추출부(110), 단항 신뢰도 학습부(120), 쌍별 신뢰도 학습부(130), 비용 함수 결정부(140) 및 스테레오 매칭부(150)를 포함하여 스테레오 매칭의 비용 함수를 결정할 수 있다.
데이터 비용 추출부(110)는 좌영상 및 우영상에서 각각 데이터 비용을 추출할 수 있다.
단항 신뢰도 학습부(120)는 좌영상과 우영상 간의 양안시차(disparity)를 기초로 현재 픽셀의 데이터 비용과 관련된 단항 신뢰도(unary confidence)를 학습할 수 있다. 이때, 단항 신뢰도는 현재 픽셀의 양안시차의 정확도, 또는 현재 픽셀이 폐색 영역(Occlusion area)에 포함되는지 여부에 따라 결정될 수 있다.
그리고, 단항 신뢰도 학습부(120)는 좌영상, 우영상, 및 데이터 비용 추출부(110)가 추출한 좌영상의 데이터 비용, 우영상의 데이터 비용으로부터 현재 픽셀의 양안시차의 정확도, 또는 현재 픽셀이 폐색 영역에 포함되는지 여부와 관련된 신뢰측도를 추출하여 단항 신뢰도를 학습할 수 있다. 또한, 좌영상의 데이터 비용은 좌영상의 현재 픽셀과 우영상에서 좌영상의 현재 픽셀에 대응할 가능성이 있는 픽셀 간의 유사도이고, 우영상의 데이터 비용은 우영상의 현재 픽셀과 좌영상에서 우영상의 현재 픽셀에 대응할 가능성이 있는 픽셀 간의 유사도일 수 있다.
단항 신뢰도 학습부(120)의 상세 구성 및 동작은 이하 도 4 내지 도 9를 참조하여 상세히 설명한다.
쌍별 신뢰도 학습부(130)는 현재 픽셀과 이웃 픽셀간의 관계를 나타내는 쌍별 신뢰도(pairwise confidence)를 학습할 수 있다. 이때, 쌍별 신뢰도는 현재 프레임에 포함된 현재 픽셀과 이웃 픽셀 간의 관계를 나타내는 제1 쌍별 신뢰도와 현재 프레임에 포함된 현재 픽셀과 이전 프레임에 포함된 이웃 픽셀 간의 관계를 나타내는 제2 쌍별 신뢰도 중 하나일 수 있다.
그리고, 쌍별 신뢰도 학습부(130)는 도 1에 도시된 바와 같이 제1 쌍별 신뢰도 학습부(131)와 제2 쌍별 신뢰도 학습부(132)를 포함할 수 있다.
제1 쌍별 신뢰도 학습부(131)는 현재 프레임에 포함된 현재 픽셀과 이웃 픽셀 간의 관계를 나타내는 제1 쌍별 신뢰도를 학습할 수 있다. 이때, 제1 쌍별 신뢰도는 현재 픽셀과 이웃 픽셀의 사이에 경계가 위치하는지 여부에 따라 결정될 수 있다. 또한, 경계는 현재 프레임에 포함된 오브젝트와 배경, 또는 다른 오브젝트 간의 경계일 수 있다.
그리고, 제1 쌍별 신뢰도 학습부(131)는 좌영상, 우영상, 및 데이터 비용 추출부(110)가 추출한 좌영상의 데이터 비용, 우영상의 데이터 비용으로부터 현재 픽셀과 이웃 픽셀 간의 유사도와 관련된 신뢰측도를 추출하여 제1 쌍별 신뢰도를 학습할 수 있다.
제1 쌍별 신뢰도 학습부(131)의 상세 구성 및 동작은 이하 도 10 내지 도 13을 참조하여 상세히 설명한다.
제2 쌍별 신뢰도 학습부(132)는 현재 프레임에 포함된 현재 픽셀과 이전 프레임에 포함된 이웃 픽셀 간의 관계를 나타내는 제2 쌍별 신뢰도(Temporally confidence)를 학습할 수 있다. 이때, 제2 쌍별 신뢰도는 현재 프레임에 포함되는 현재 픽셀과, 이전 프레임에 포함되며, 현재 픽셀에 대응하는 픽셀이 유사한지 여부에 따라 결정될 수 있다.
제2 쌍별 신뢰도 학습부(132)의 상세 구성 및 동작은 이하 도 15 내지 도 16을 참조하여 상세히 설명한다.
비용 함수 결정부(140)는 쌍별 신뢰도 학습부(130)가 학습한 쌍별 신뢰도를 기초로 스테레오 매칭의 비용 함수(cost function)를 결정할 수 있다. 이때, 비용 함수 결정부(140)는 좌영상의 데이터 비용, 우영상의 데이터 비용, 불연속 비용, 단항 신뢰도, 제1 쌍별 신뢰도, 및 제2 쌍별 신뢰도 중 적어도 하나를 이용하여 비용 함수를 결정할 수 있다. 이때, 불연속 비용(discontinuity cost)은 현재 픽셀의 양안시차와 이웃 픽셀의 양안시차 간의 유사도일 수 있다.
예를 들어, 비용 함수 결정부(140)는 수학식 1과 같이 좌영상의 데이터 비용, 불연속 비용, 및 제1 쌍별 신뢰도를 이용하여 좌영상의 비용 함수 E(D)를 결정할 수 있다. 또한, 비용 함수 결정부(140)는 수학식 1에서 좌영상의 데이터 비용을 우영상의 데이터 비용으로 대치하여 우영상의 비용 함수를 결정할 수도 있다.
이때, cx(dx)는 좌영상의 데이터 비용이며, 좌영상의 현재 픽셀과 우영상에서 현재 픽셀에 대응할 가능성이 있는 픽셀 간의 유사도를 판단하기 위한 함수일 수 있다.
또한,sxy(dx,dy)는 현재 픽셀의 양안시차 dx와 이웃 픽셀의 양안시차 dy간의 유사도인 불연속 비용을 판단하기 위한 함수일 수 있다. 이때, sxy(dx,dy)는 불연속 비용이 높을수록 작은 값을 가지는 비용 함수이며, dx와 dy 간의 유사도는 평활도 비용(smoothness cost)으로 정의될 수도 있다.
그리고, λ는 정형화 계수(regularization coefficient)이고, N은 현재 픽셀에 인접한 이웃 픽셀들의 집합(neighborhood system)이며, k(Qx,y)는 입력받은 제1 쌍별 신뢰도 Qx,y에 따라 스테레오 매칭의 계수(Coefficient)를 출력하는 함수일 수 있다.
예를 들어, 현재 픽셀 x의 양안시차와 이웃 픽셀 y의 양안시차가 서로 유사한 경우 제1 쌍별 신뢰도 Qx,y는 값이 1인 계수일 수 있다. 또한, 현재 픽셀 x의 양안시차와 이웃 픽셀 y의 양안시차가 서로 유사하지 않은 경우 제1 쌍별 신뢰도 Qx,y는 값이 0인 계수일 수 있다.
그리고, 비용 함수 결정부(140)가 수학식 1과 같이 좌영상의 데이터 비용, 불연속 비용, 및 제1 쌍별 신뢰도를 이용하여 비용 함수 E(D)를 결정하는 경우, 스테레오 매칭 장치(100)는 데이터 비용 추출부(110), 제1 쌍별 신뢰도 학습부(131), 및 비용 함수 결정부(140)로 구성될 수도 있다.
또한, 비용 함수 결정부(140)는 수학식 2와 같이 좌영상의 데이터 비용, 불연속 비용, 단항 신뢰도, 및 제1 쌍별 신뢰도를 이용하여 좌 영상의 비용 함수 E(D)를 결정할 수 있다. 이때, 비용 함수 결정부(140)는 수학식 2에서 좌영상의 데이터 비용을 우영상의 데이터 비용으로 대치하여 우영상의 비용 함수를 결정할 수도 있다.
이때, h(Px)는 입력받은 단항 신뢰도 Px에 따라 스테레오 매칭의 계수를 출력하는 함수일 수 있다. 예를 들어, 픽셀x의 데이터 비용인 cx(dx)를 최소화하여 정확한 양안시차를 찾을 수 있는 경우, 단항 신뢰도 Px는 값이 1인 계수일 수 있다. 또한, 픽셀x의 데이터 비용인 cx(dx)를 최소화하여 정확한 양안시차를 찾을 수 없는 경우, 단항 신뢰도 Px는 값이 0인 계수일 수 있다.
또한, 비용 함수 결정부(140)가 수학식 2와 같이 좌영상의 데이터 비용, 불연속 비용, 단항 신뢰도, 및 제1 쌍별 신뢰도를 이용하여 좌영상의 비용 함수 E(D)를 결정하는 경우, 스테레오 매칭 장치(100)는 데이터 비용 추출부(110), 단항 신뢰도 학습부(120)제1 쌍별 신뢰도 학습부(131), 및 비용 함수 결정부(140)로 구성될 수도 있다.
그리고, 비용 함수 결정부(140)는 수학식 3과 같이 좌영상의 데이터 비용, 불연속 비용, 단항 신뢰도, 제1 쌍별 신뢰도, 및 제2 쌍별 신뢰도를 모두 이용하여 좌 영상의 비용 함수 E(D)를 결정할 수도 있다.
이때, k'(Rx,y)는 입력받은 제2 쌍별 신뢰도 Rx,y에 따라 스테레오 매칭의 계수를 출력하는 함수일 수 있다. 또한, Ns는 현재 프레임에서 현재 픽셀에 인접한 이웃 픽셀들의 집합(spatial neighborhood system)이고, Nt는 현재 프레임에 시간적으로 이웃한 이전 프레임들의 집합(temporal neighborhood system)일 수 있다.
또한, 비용 함수 결정부(140)는 수학식 4와 같이 좌영상의 데이터 비용, 불연속 비용, 제2 쌍별 신뢰도를 이용하여 좌영상의 비용 함수 E(D)를 결정할 수도 있다.
그리고, 비용 함수 결정부(140)가 수학식 4와 같이 좌영상의 데이터 비용, 불연속 비용, 및 제2 쌍별 신뢰도를 이용하여 좌영상의 비용 함수 E(D)를 결정하는 경우, 스테레오 매칭 장치(100)는 데이터 비용 추출부(110), 및 비용 함수 결정부(140)로 구성될 수도 있다.
스테레오 매칭부(150)는 비용 함수 결정부(140)가 결정한 비용 함수를 이용하여 최소 비용으로 좌영상과 우영상을 스테레오 매칭하여 좌영상의 양안시차 정보 및 우영상의 양안시차 정보를 출력할 수 있다.
일실시예에 따른 스테레오 매칭 장치(100)는 현재 픽셀과 이웃 픽셀의 사이에 경계가 위치하는지 여부를 나타내는 제1 쌍별 신뢰도를 학습하고, 학습된 제1 쌍별 신뢰도를 기초로 비용 함수를 결정함으로써, 스테레오 매칭의 정확도를 높일 수 있다.
또한, 스테레오 매칭 장치(100)는 현재 픽셀이 폐색 영역에 포함되는지 여부를 나타내는 단항 신뢰도를 학습하고, 학습된 단항 신뢰도를 기초로 비용 함수를 결정함으로써, 스테레오 매칭의 정확도를 높일 수도 있다.
그리고, 스테레오 매칭 장치(100)는 현재 프레임에 포함된 현재 픽셀의 양안시차와 이전 프레임에 포함된 이웃 픽셀의 양안시차 간의 정확도를 나타내는 제2 쌍별 신뢰도를 학습하고, 학습된 제2 쌍별 신뢰도를 기초로 비용 함수를 결정함으로써, 스테레오 매칭의 정확도를 높일 수도 있다.
도 2는 좌영상과 우영상을 사용한 스테레오 매칭을 도시한 도면이다.
스테레오 매칭(Stereo matching)은 3차원 영상을 재현하기 위한 좌영상(220)과 우영상(230) 간의 대응 픽셀을 찾기 위한 방법이다. 이때, 좌영상(220)과 우영상(230)은 도 2에 도시된 바와 같이 서로 다른 시점(viewpoint)에 위치한 스테레오 카메라(210)의 제1 카메라(211) 및 제2 카메라(212)가 대상(200)을 동시에 촬영하여 생성할 수 있다. 그리고, 스테레오 매칭 장치(100)는 스테레오 매칭을 통하여 좌영상(220)과 우영상(230) 간의 대응 픽셀을 찾은 다음, 삼각측량(triangulation)을 이용하여 스테레오 카메라(210)와 대상(200)에서 대응 픽셀이 표시하는 대상의 위치까지의 거리를 판단할 수 있다.
예를 들어, 스테레오 매칭 장치(100)는 입력받은 좌영상(220), 및 우영상(230)을 매칭하여 좌영상의 양안시차 정보(221) 및 우영상의 양안시차 정보(231)를 출력할 수 있다. 이때, 좌영상의 양안시차 정보(221) 및 우영상의 양안시차 정보(231)는 좌영상(220), 및 우영상(230)에서 양안시차가 동일한 오브젝트, 또는 배경을 동일한 색상으로 표시한 양안시차 지도(Disparity map)일 수 있다.
이때, 좌영상(220), 및 우영상(230)에 포함된 픽셀들 각각의 양안시차는 양안시차 지도의 밝기에 비례할 수 있다. 예를 들어, 대상(200) 중에서 스테레오 카메라(210)에 가장 가까운 오브젝트를 표시하는 픽셀은 양안시차가 가장 크므로, 양안시차 지도에서 가장 밝게 표시될 수 있다. 또한, 대상(200) 중에서 스테레오 카메라(210)에 가장 먼 배경, 또는 오브젝트를 표시하는 픽셀은 양안시차가 가장 작으므로, 양안시차 지도에서 가장 어둡게 표시될 수 있다.
그리고, 스테레오 매칭 장치(100)는 양안시차 정보를 이용하여 좌영상(220)과 우영상(230) 간의 대응 픽셀을 찾을 수 있다. 예를 들어, 우영상(230)에서 좌영상(220)의 현재 픽셀에 대응하는 대응 픽셀은 좌영상(220)의 현재 픽셀의 양안시차 정보에 따라 현재 픽셀을 수평 이동한 픽셀일 수 있다.
따라서, 좌영상(220)과 우영상(230) 간의 대응 픽셀을 정확하게 찾기 위해서는 좌영상(220), 및 우영상(230)을 매칭하여 생성하는 양안시차 정보의 정확도를 높여야 한다.
도 3은 좌영상과 우영상 간의 양안시차 및 양안시차를 이용하여 추출한 데이터 비용의 일례이다.
스테레오 카메라에 포함된 한 쌍의 카메라가 평행하게 배치된 경우, 좌영상(310)의 픽셀(311)의 세로 좌표 y와 픽셀(311)에 대응하는 우영상(320)의 픽셀(321)의 세로 좌표 y'는 동일할 수 있다. 반면, 픽셀(311)의 가로 좌표 x와 픽셀(321)의 가로 좌표 x'는 도 3에 도시된 바와 같이 서로 다를 수 있다. 구체적으로, 픽셀(321)은 픽셀(311)의 왼쪽에 위치할 수 있다. 이때, 좌영상(310)의 양안시차(disparity)인 dx는 x-x'일 수 있다. 즉, 픽셀(311)에 대응하는 픽셀(321)의 가로 좌표 x'를 추정하면, 픽셀(311)의 양안시차를 결정할 수 있다. 또한, 우영상(320)의 양안시차인 dx'는 x'-x일 수 있다.
그리고, 데이터 비용 추출부(110)는 좌영상(310)의 픽셀(311)에 대응할 가능성이 있는 우영상(320)의 픽셀(321)들을 그룹화하여 집합 {x'}를 생성할 수 있다. 이때, 집합 {x'}는 수학식 5에 도시된 바와 같이 가로 좌표가 x'로 추정될 가능성이 있는 픽셀(321)들을 원소로 포함할 수 있다.
이때, 픽셀(321)들은 수학식 5에 정의된 바와 같이 가로 좌표인 x'는 x- dx이고, 세로 좌표인 y'는 픽셀 (311)과 동일한 y일 수 있다.
다음으로, 데이터 비용 추출부(110)는 픽셀(311)과 집합 {x'}에 포함된 원소들 간의 유사성을 판단하기 위한 데이터 비용인 cx(dx)를 결정할 수 있다. 예를 들어, 데이터 비용 추출부(110)는 수학식 6와 같이 cx(dx)를 결정할 수 있다.
이때, cx(dx)는 좌영상(310) IL의 픽셀(311)의 특징량과 우영상(320) IR의 픽셀(321)의 특징량 간의 유사도가 높을수록, 작은 값을 출력할 수 있다. 또한, cx(dx)는 좌영상(310) IL의 픽셀(311)의 특징량과 우영상(320) IR의 픽셀(321)의 특징량 간의 유사도가 낮을수록, 큰 값을 출력할 수 있다. 이때, 픽셀(311)의 특징량과 픽셀(321)의 특징량은 각각 픽셀(311)과 픽셀(321)의 컬러(color) 또는 텍스처(texture)에 따라 결정될 수 있다.
그러나, 스테레오 매칭 장치(100)를 포함하는 스테레오 매칭 장치가 수학식 7을 이용하여 픽셀(311)의 양안시차인 d* x를 결정하는 경우, 스테레오 매칭 장치는 부정확한 좌영상의 양안시차 정보(330) 및 우영상의 양안시차 정보(330)를 출력할 수 있다. 이때, 수학식 7은 픽셀(311)에 대응할 수 있는 모든 양안시차 dx의 데이터 비용을 최소화시키는 양안시차 dx를 d* x로 결정하는 수학식 일 수 있다.
좌영상(310), 또는 우영상(320)에 포함된 오브젝트의 크기는 픽셀 보다 크며, 오브젝트들 각각에 포함된 픽셀들은 컬러가 유사하므로, 픽셀(311)에 대응하지 않는 픽셀과 픽셀(311) 간의 양안시차가 픽셀(321)와 픽셀(311) 간의 양안시차보다 작을 수 있다. 따라서, 픽셀(311)에 대응하지 않는 픽셀과 픽셀(311) 간의 양안시차가 픽셀(311)의 양안시차로 결정되는 경우, 스테레오 매칭 장치는 도 3에 도시된 바와 같이 부정확한 좌영상의 양안시차 정보(330) 및 우영상의 양안시차 정보(330)를 출력할 수 있다.
따라서, 스테레오 매칭 장치(100)는 현재 픽셀에 이웃한 이웃 픽셀과 현재 픽셀 간의 관계를 나타내는 쌍별 신뢰도를 기초로 현재 픽셀의 양안시차 정보를 결정하기 위한 비용 함수를 결정함으로써, 양안시차 정보의 정확도를 높일 수 있다.
도 4는 일실시예에 따른 스테레오 매칭 장치의 단항 신뢰도 학습부의 구조를 도시한 도면이다.
도 4를 참고하면, 단항 신뢰도 학습부(120)는 신뢰측도 추출부(410), 응답 추출부(420), 신뢰도 학습부(430), 및 함수 학습부(440)를 포함할 수 있다.
단항 신뢰도 학습부(120)는 현재 픽셀의 양안시차의 정확도, 또는 현재 픽셀이 폐색 영역(Occlusion area)에 포함되는지 여부에 따라 단항 신뢰도(unary confidence)를 학습할 수 있다.
단항 신뢰도 학습부(120)가 현재 픽셀의 양안시차의 정확도에 따라 단항 신뢰도를 학습하는 경우, 신뢰측도 추출부(410), 응답 추출부(420), 신뢰도 학습부(430), 및 함수 학습부(440)는 다음과 같이 동작할 수 있다.
신뢰측도 추출부(410)는 좌영상, 우영상, 좌영상의 데이터 비용 및 우영상의 데이터 비용으로부터 현재 픽셀의 양안시차의 정확도와 관련된 신뢰측도를 추출할 수 있다.
이때, 신뢰측도 추출부(410)는 최소화한 좌영상의 데이터 비용이 최소화한 우영상의 데이터 비용과 동일한지 여부에 대한 신뢰측도, 현재 픽셀이 폐색 영역에 포함되는지에 대한 신뢰측도, 현재 픽셀에 포함된 텍스처에 대한 신뢰측도 중 적어도 하나를 추출할 수 있다.
예를 들어, 신뢰측도 추출부(410)는 최소화한 좌영상의 데이터 비용이 최소화한 우영상의 데이터 비용과 동일한지 여부에 대한 신뢰측도인 PKRSN(symmetric naive peak ratio) 및 MLMS(symmetric maximum likelihood measure)를 추출할 수 있다. 이때, 현재 픽셀 x의 PKRSN인 CPKRSN(x,y)와 현재 픽셀의 MLMS인 CMLMS는 수학식 8과 같이 정의될 수 있다. 이하의 설명은 좌영상을 기준으로 설명하며, 우영상의 신뢰측도는 좌영상에서 사용하는 정보를 우영상 기준으로 대칭 적용하여 추출할 수 있다.
이때, x는 좌표가 (x,y)인 현재 픽셀이고, C1은 cx(dx)의 최소값이며, C2는 cx(dx)의 두 번째로 작은 값일 수 있다. 또한, σMLM은 양의 상수이고, d1은 cx(dx)를 최소화시키는 양안시차며, CR은 우영상의 데이터 비용일 수 있다. 그리고, (x-d1, y)는 우영상에서 좌영상의 현재 픽셀에 대응하는 픽셀일 수 있다.
또한, 신뢰측도 추출부(410)는 현재 픽셀 x가 폐색 영역에 포함되는지에 대한 신뢰측도인 MSM(Maximum similarity measure), LRC(left-right consistency), 및 LRD(Left-right difference)를 추출할 수 있다. 이때, 폐색 영역은 좌영상과 우영상 중 한 쪽 영상에서만 관찰 가능하고, 다른 영상에서는 관찰 불가능한 영역일 수 있다. 그리고, 현재 픽셀 x의 MSM인 CMSM(x,y), 현재 픽셀 x의 LRC 인 CLRC(x,y), 및 현재 픽셀 x의 LRD 인 CLRD(x,y)는 수학식 9와 같이 정의될 수 있다.
그리고, 신뢰측도 추출부(410)는 현재 픽셀 x에 충분한 텍스처가 존재하는지에 대한 신뢰측도인 CUR(curvature), GRAD(gradient)를 추출할 수 있다. 이때, 현재 픽셀 x의 CUR 인 CCUR(x,y)와 현재 픽셀 x의 GRAD인 CGRAD(x,y)는 수학식 10과 같이 정의될 수 있다.
그리고 신뢰측도 추출부(410)는 우영상에 포함된 픽셀 각각에 대하여 수학식 8 내지 수학식 10으로 정의한 신뢰측도들을 추출하고, 추출한 신뢰측도들을 하나의 벡터(vector)인 신뢰측도 벡터(confidence measure vector)로 출력할 수 있다. 예를 들어, 신뢰측도 벡터 ax는 수학식 11과 같이 나타낼 수 있다.
응답 추출부(420)는 검증된 양안시차 정보(Ground-truth Disparity Map)에서 신뢰측도 추출부(410)가 추출한 신뢰측도에 대한 응답을 추출할 수 있다. 이때, 응답 추출부(420)가 추출하는 응답은 현재 픽셀에서 데이터 비용을 최소화하여 정확한 양안시차를 결정할 수 있는지에 대한 응답일 수 있다.
예를 들어, 현재 픽셀에서 데이터 비용을 최소화하여 정확한 양안시차를 결정할 수 있는 경우, 응답 추출부(420)가 추출하는 응답인 P* x는 1일 수 있다. 또한, 현재 픽셀에서 데이터 비용을 최소화하여 정확한 양안시차를 결정할 수 없는 경우, 응답 추출부(420)가 추출하는 응답인 P* x는 0일 수 있다.
신뢰도 학습부(430)는 신뢰측도 추출부(410)가 추출한 신뢰측도와 응답 추출부(420)가 추출한 응답 간의 관계를 학습할 수 있다.
구체적으로, 신뢰도 학습부(430)는 신뢰측도 추출부(410)가 출력하는 신뢰측도 벡터 ax가 입력되면, 응답 추출부(420)가 추출하는 응답인 P* x를 출력하는 함수 f(ax)를 학습할 수 있다. 예를 들어, 신뢰도 학습부(430)는 랜덤 포레스트(random forest)나 서포트 벡터 머신(support vector machine)과 같은 지도 학습(supervised learning) 기법으로 분류(classification) 또는 회귀(regression)을 수행하여 함수 f(ax)를 학습할 수 있다. 이때, 신뢰측도 추출부(410)가 출력하는 신뢰측도 벡터 ax는 검증된 양안시차 정보에 대응하는 테스트 영상에서 추출한 신뢰측도 벡터일 수 있다.
이때, 학습된 함수 f(ax)는 비용 함수를 결정하고자 하는 실제 영상의 신뢰측도 벡터를 입력 받을 수 있다. 그리고, 학습된 함수 f(ax)는 실제 영상의 단항 신뢰도인 Px를 추정할 수 있다.
함수 학습부(440)는 신뢰도 학습부(430)가 학습한 함수 f(ax)가 추정하는 단항 신뢰도인 Px에 따라 스테레오 매칭의 계수를 출력하는 함수인 h(Px)를 학습할 수 있다. 이때, 함수 학습부(1040)는 스테레오 매칭 방법의 양안시차 오차를 최소화할 수 있도록 h(Px)를 학습할 수 있다. 즉, h(Px)는 단항 신뢰도의 오차 또는 정확도에 따라 단항 신뢰도에 가중치를 적용하는 함수일 수 있다. 예를 들어, 단항 신뢰도가 100% 정확한 경우, h(Px)의 결과와 Px는 동일할 수 있다.
또한, h(Px)는 단순한 선형 함수(linear function)일 수도 있고,지수 함수(exponential function)일 수도 있다.
그리고, 단항 신뢰도 학습부(120)가 현재 픽셀이 폐색 영역에 포함되는지 여부를 나타내는 단항 신뢰도를 학습하는 경우, 신뢰측도 추출부(410), 응답 추출부(420), 신뢰도 학습부(430), 및 함수 학습부(440)는 다음과 같이 동작할 수 있다.
신뢰측도 추출부(410)는 좌영상, 우영상, 좌영상의 데이터 비용 및 우영상의 데이터 비용으로부터 현재 픽셀이 폐색 영역에 포함되는지 여부와 관련된 신뢰측도를 추출할 수 있다.
이때, 신뢰측도 추출부(410)는 최소화한 데이터 비용의 유일성, 또는 특이성에 대한 신뢰측도, 현재 픽셀이 폐색 영역에 포함되는지에 대한 신뢰측도, 현재 픽셀에 포함된 텍스처에 대한 신뢰측도 중 적어도 하나를 추출할 수 있다.
예를 들어, 신뢰측도 추출부(410)는 수학식 8 내지 수학식 10으로 정의한 신뢰측도들과 함께 현재 픽셀이 폐색 영역에 포함되는지에 대한 신뢰측도 중 LRDE(Extended Left-right difference)를 더 추출할 수 있다. 이때, 현재 픽셀 x의 LRDE 인 CLRDE(x,y)는 수학식 12와 같이 정의될 수 있다.
응답 추출부(420)는 검증된 폐색 영역 정보(Ground-truth Occlusion Map)에서 신뢰측도 추출부(410)가 추출한 신뢰측도에 대한 응답을 추출할 수 있다. 이때, 응답 추출부(420)가 추출하는 응답은 현재 픽셀이 폐색 영역에 포함되는지에 대한 응답일 수 있다.
예를 들어, 현재 픽셀이 폐색 영역에 포함되지 않는 경우, 응답 추출부(420)가 추출하는 응답인 P* x는 1일 수 있다. 또한, 현재 픽셀이 폐색 영역에 포함되는 경우, 응답 추출부(420)가 추출하는 응답인 P* x는 0일 수 있다.
신뢰도 학습부(430)는 신뢰측도 추출부(410)가 추출한 신뢰측도와 응답 추출부(420)가 추출한 응답 간의 관계를 학습할 수 있다.
구체적으로, 신뢰도 학습부(430)는 신뢰측도 추출부(410)가 출력하는 신뢰측도 벡터 ax가 입력되면, 응답 추출부(420)가 추출하는 응답인 P* x를 출력하는 함수 f(ax)를 학습할 수 있다. 이때, 신뢰측도 추출부(410)가 출력하는 신뢰측도 벡터 ax는 검증된 폐색 영역 정보에 대응하는 테스트 영상에서 추출한 신뢰측도 벡터일 수 있다.
이때, 학습된 함수 f(ax)는 비용 함수를 결정하고자 하는 실제 영상의 신뢰측도 벡터를 입력 받을 수 있다. 그리고, 학습된 함수 f(ax)는 실제 영상의 단항 신뢰도를 추정할 수 있다.
함수 학습부(440)는 신뢰도 학습부(430)가 학습한 함수 f(ax)가 추정하는 단항 신뢰도에 따라 스테레오 매칭의 계수를 출력하는 함수인 h(Px)를 학습할 수 있다.
도 5는 일실시예에 따라 신뢰측도를 추출하는 과정의 일례이다.
도 5는 현재 픽셀(500)에 대응하는 좌영상의 데이터 비용들(510)과 현재 픽셀(500)에 대응하는 우영상의 데이터 비용들(520)을 도시하고 있다.
이때, 좌영상의 데이터 비용들(510)들 중에서 최소화된 값과 우영상의 데이터 비용들(520)들 중에서 최소화된 값이 현재 픽셀(500)로 동일해야 최소화된 데이터 비용이 유일하고 특이한 값일 수 있다.
따라서, 신뢰측도 추출부(410)는 수학식 8을 이용하여 좌영상의 데이터 비용들(510)과 우영상의 데이터 비용들(520) 중 현재 픽셀(500)을 제외한 데이터 비용들을 제거할 수 있다.
도 6은 일실시예에 따라 학습한 단항 신뢰도를 적용한 결과의 일례이다.
신뢰도 학습부(430)는 검증된 양안시차 정보(610)과 데이터 비용을 최소화한 양안시차 정보(620)를 비교하여 데이터 비용을 최소화하여 정확한 양안시차 정보를 획득한 픽셀을 판단할 수 있다. 이때, 양안시차 정보(620)는 검증된 양안시차 정보(610)에 대응하는 테스트 영상에서 추출한 신뢰측도를 이용하여 추정한 양안시차 정보일 수 있다. 또한, 판단 결과(630)에서 데이터 비용을 최소화하여 정확한 양안시차 정보를 획득한 픽셀은 흰색으로 표시될 수 있다.
다음으로, 신뢰도 학습부(430)는 판단 결과(630)에서 흰색으로 표시된 픽셀들을 기초로 픽셀들 각각이 데이터 비용을 최소화하여 정확한 양안시차 정보를 획득할 수 있는지 여부에 대한 단항 신뢰도를 학습할 수 있다.
그리고, 비용 함수 결정부(140)는 신뢰도 학습부(430)가 학습한 단항 신뢰도를 비용 함수를 결정하고자 하는 실제 영상에 적용하여 양안시차 정보(640)을 출력할 수 있다.
이때, 양안시차 정보(640)에 포함된 픽셀들 중 단항 신뢰도 Px가 0.5 보다 큰 픽셀은 흰색으로 표시되고, 단항 신뢰도 Px가 0.5보다 작거나 같은 픽셀은 검은색으로 표시될 수 있다.
도 7은 검증된 양안시차 정보 및 일실시예에 따라 학습한 단항 신뢰도에 따라 추정한 양안시차 정보의 일례이다.
도 7은 단항 신뢰도 학습부(120)가 현재 픽셀의 양안시차의 정확도에 따라 학습한 단항 신뢰도로 추정한 양안시차 정보의 일례이다.
검증된 양안시차 정보(710)는 데이터 비용을 최소화하여 정확한 양안시차 정보를 획득한 픽셀을 흰색으로 표시하고, 데이터 비용을 최소화하여 정확한 양안시차 정보를 획득하지 못한 픽셀을 검은색으로 표시할 수 있다.
그리고, 단항 신뢰도 학습부(120)는 검증된 양안시차 정보(710)에서 흰색으로 표시된 픽셀들을 기초로 픽셀들 각각이 데이터 비용을 최소화하여 정확한 양안시차 정보를 획득할 수 있는지 여부에 대한 단항 신뢰도를 학습할 수 있다.
다음으로, 비용 함수 결정부(140)는 단항 신뢰도 학습부(120)가 학습한 단항 신뢰도를 비용 함수를 결정하고자 하는 실제 영상에 적용하여 양안시차 정보(720)를 추정할 수 있다. 이때, 양안시차 정보(720)에 포함된 픽셀들 중 단항 신뢰도 Px가 0.5 보다 큰 픽셀은 흰색으로 표시되고, 단항 신뢰도 Px가 0.5보다 작거나 같은 픽셀은 검은색으로 표시될 수 있다.
도 8은 검증된 폐쇄 영역 정보 및 일실시예에 따라 학습한 단항 신뢰도에 따라 추정한 폐쇄 영역 정보의 일례이다.
도 8은 단항 신뢰도 학습부(120)가 현재 픽셀이 폐색 영역에 포함되는지 여부에 따라 학습한 단항 신뢰도로 추정한 폐쇄 영역 정보의 일례이다.
검증된 폐쇄 영역 정보(810)는 폐쇄 영역에 포함되지 않은 픽셀을 흰색으로 표시하고, 폐쇄 영역에 포함된 픽셀을 검은색으로 표시할 수 있다.
그리고, 단항 신뢰도 학습부(120)는 검증된 폐쇄 영역 정보(810)에서 흰색으로 표시된 픽셀들을 기초로 픽셀들 각각이 폐쇄 영역에 포함되는지 여부에 대한 단항 신뢰도를 학습할 수 있다.
다음으로, 비용 함수 결정부(140)는 단항 신뢰도 학습부(120)가 학습한 단항 신뢰도를 비용 함수를 결정하고자 하는 실제 영상에 적용하여 폐쇄 영역 정보(820)를 추정할 수 있다. 이때, 폐쇄 영역 정보(820)에 포함된 픽셀들 중 단항 신뢰도 Px가 0.5 보다 큰 픽셀은 흰색으로 표시되고, 단항 신뢰도 Px가 0.5보다 작거나 같은 픽셀은 검은색으로 표시될 수 있다.
도 9는 일실시예에 따라 단항 신뢰도를 학습하는 과정의 일례이다.
먼저, 데이터 비용 추출부(110)는 좌영상(911)에서 좌영상의 데이터 비용(921)을 추출할 수 있다. 또한, 데이터 비용 추출부(110)는 우영상(912)에서 우영상의 데이터 비용(922)을 추출할 수 있다
다음으로, 신뢰측도 추출부(410)는 좌영상(911), 좌영상의 데이터 비용(921), 우영상(912) 및 우영상의 데이터 비용(922)에서 데이터 비용과 관련된 신뢰측도(931)을 추출할 수 있다.
예를 들어, 단항 신뢰도 학습부(120)가 현재 픽셀의 양안시차의 정확도에 따라 단항 신뢰도를 학습하는 경우, 신뢰측도 추출부(410)는 좌영상(911), 좌영상의 데이터 비용(921), 우영상(912) 및 우영상의 데이터 비용(922)에서 현재 픽셀의 양안시차의 정확도와 관련된 신뢰측도를 추출할 수 있다. 또한, 단항 신뢰도 학습부(120)가 현재 픽셀이 폐색 영역에 포함되는지 여부에 따라 단항 신뢰도를 학습하는 경우, 신뢰측도 추출부(410)는 좌영상(911), 좌영상의 데이터 비용(921), 우영상(912) 및 우영상의 데이터 비용(922)에서 현재 픽셀이 폐색 영역에 포함되는지 여부와 관련된 신뢰측도를 추출할 수 있다.
이때, 응답 추출부(420)는 검증 정보(941)에서 신뢰측도(931)에 대한 응답(942)을 추출할 수 있다. 예를 들어, 단항 신뢰도 학습부(120)가 현재 픽셀의 양안시차의 정확도에 따라 단항 신뢰도를 학습하는 경우, 검증 정보(941)는 검증된 양안시차 정보일 수 있다. 그리고, 응답(942)은 현재 픽셀이 데이터 비용을 최소화하여 정확한 양안시차 정보를 획득할 수 있는지 여부에 대한 정보일 수 있다. 또한, 단항 신뢰도 학습부(120)가 현재 픽셀이 폐색 영역에 포함되는지 여부에 따라 단항 신뢰도를 학습하는 경우, 검증 정보(941)는 검증된 폐색 영역 정보일 수 있다. 그리고, 응답(942)은 현재 픽셀이 폐색 영역에 포함되는지 여부에 대한 정보일 수 있다.
그 다음으로 신뢰도 학습부(430)는 신뢰측도(931)과 응답(942)간의 관계를 학습하여 단항 신뢰도(951)를 출력할 수 있다.
구체적으로, 신뢰도 학습부(430)는 신뢰측도(931)가 입력되면, 응답(942)를 출력하는 함수 f(ax)를 학습할 수 있다. 이때, 학습된 함수 f(ax)는 비용 함수를 결정하고자 하는 실제 영상의 신뢰측도 벡터를 입력 받을 수 있다. 그리고, 학습된 함수 f(ax)는 실제 영상의 단항 신뢰도(951)를 추정하여 출력할 수 있다.
마지막으로, 함수 학습부(440)는 신뢰도 학습부(430)가 학습한 함수 f(ax)가 추정하는 단항 신뢰도(951)인 Px에 따라 스테레오 매칭의 계수를 출력하는 함수인 h(Px)(961)를 학습할 수 있다.
도 10은 일실시예에 따른 스테레오 매칭 장치의 제1 쌍별 신뢰도 학습부의 구조를 도시한 도면이다.
도 10을 참고하면, 제1 쌍별 신뢰도 학습부(131)는 신뢰측도 추출부(1010), 응답 추출부(1020), 신뢰도 학습부(1030), 및 함수 학습부(1040)를 포함할 수 있다.
신뢰측도 추출부(1010)는 좌영상, 우영상, 좌영상의 데이터 비용 및 우영상의 데이터 비용으로부터 현재 픽셀의 양안시차와 이웃 픽셀의 양안시차 간의 유사도와 관련된 신뢰측도를 추출할 수 있다.
이때, 신뢰측도 추출부(1010)는 현재 픽셀과 이웃 픽셀 간의 컬러 유사도에 대한 신뢰측도, 현재 픽셀과 이웃 픽셀 간의 위치 유사도에 대한 신뢰측도, 및 현재 픽셀과 이웃 픽셀 간의 양안시차 유사도에 대한 신뢰측도 중 적어도 하나를 추출할 수 있다.
예를 들어, 신뢰측도 추출부(1010)는 현재 픽셀과 이웃 픽셀 간의 컬러 유사도에 대한 신뢰측도인 bc를 추출할 수 있다. 이때, bc는 수학식 13과 같이 정의될 수 있다.
또한, 신뢰측도 추출부(1010)는 현재 픽셀과 이웃 픽셀 간의 위치 유사도에 대한 신뢰측도인 bx를 추출할 수 있다. 이때, bx는 수학식 14와 같이 정의될 수 있다.
그리고, 현재 픽셀의 데이터 비용과 이웃 픽셀의 데이터 비용이 서로 유사할 경우, 현재 픽셀의 양안시차와 이웃 픽셀의 양안시차도 유사할 수 있다. 따라서, 신뢰측도 추출부(1010)는 현재 픽셀의 데이터 비용과 이웃 픽셀의 데이터 비용간의 유사도인 cx,y(d)를 기초로 현재 픽셀과 이웃 픽셀 간의 양안시차 유사도에 대한 신뢰측도인 bd를 추출할 수 있다. 이때, cx,y(d)와 bd는 수학식 15와 같이 정의될 수 있다.
이때, Δx는 영역 W 내에서의 변위이고, W는 3x3 또는 5x5 픽셀 등의 형태를 가질 수 있다. 또한, Δdx와 Δdy는 일정 크기 이하의 양안시차 에 대한 변위일 수 있다. 그리고, d1~dN은 오름차순으로 정렬된 cx,y(d) 중 첫 번째부터 N번째까지의 양안시차일 수 있다.
또한, 신뢰측도 추출부(1010)는 좌영상, 또는 우영상의 밝기에 차이가 발생한 경우, 추출한 신뢰측도를 정규화(normalization)할 수 있다.
그리고, 신뢰측도 추출부(1010)는 추출한 신뢰측도들을 하나의 벡터(vector)인 신뢰측도 벡터(confidence measure vector)로 출력할 수 있다. 예를 들어, 신뢰측도 벡터 bx,y는 수학식 16과 같이 나타낼 수 있다.
응답 추출부(1020)는 검증된 불연속 정보(Ground-truth Discontinuity Map)에서 신뢰측도 추출부(1010)가 추출한 신뢰측도에 대한 응답을 추출할 수 있다. 이때, 검증된 불연속 정보는 검증된 양안시차 정보(ground-truth disparity map)에 포함된 픽셀들 중에서 불연속적인 픽셀 쌍을 추출하여 생성할 수 있다. 그리고, 응답 추출부(1020)가 추출하는 응답은 현재 픽셀과 이웃 픽셀의 사이에 경계가 위치하는지 여부에 대한 응답일 수 있다.
예를 들어, 현재 픽셀이 영상에 포함된 경계가 아닌 경우, 응답 추출부(1020)가 추출하는 응답인 Q* x,y는 1일 수 있다. 또한, 현재 픽셀이 영상에 포함된 경계인 경우, 응답 추출부(1020)가 추출하는 응답인 Q* x,y는 0일 수 있다.
신뢰도 학습부(1030)는 신뢰측도 추출부(1010)가 추출한 신뢰측도와 응답 추출부(1020)가 추출한 응답 간의 관계를 학습할 수 있다.
구체적으로, 신뢰도 학습부(1030)는 신뢰측도 추출부(1010)가 출력하는 신뢰측도 벡터 bx,y가 입력되면, 응답 추출부(1020)가 추출하는 응답인 Q* x,y를 출력하는 함수 g(bx,y)를 학습할 수 있다. 예를 들어, 신뢰도 학습부(1030)는 지도 학습(supervised learning) 기법으로 함수 g(bx,y)를 학습할 수 있다. 이때, 신뢰측도 추출부(1010)가 출력하는 신뢰측도 벡터 bx,y는 검증된 불연속 정보에 대응하는 테스트 영상에서 추출한 신뢰측도 벡터일 수 있다.
이때, 학습된 함수 g(bx,y)는 비용 함수를 결정하고자 하는 실제 영상의 신뢰측도 벡터를 입력 받을 수 있다. 그리고, 학습된 함수 g(bx,y)는 실제 영상의 제1 쌍별 신뢰도인 Qx,y를 추정할 수 있다.
함수 학습부(1040)는 신뢰도 학습부(1030)가 학습한 함수 g(bx,y)가 추정하는 제1 쌍별 신뢰도인 Qx,y에 따라 스테레오 매칭의 계수를 출력하는 함수인 k(Qx,y)를 학습할 수 있다. 이때, 함수 학습부(1040)는 스테레오 매칭 방법의 양안시차 오차를 최소화할 수 있도록 k(Qx,y)를 학습할 수 있다. 즉, k(Qx,y)는 제1 쌍별 신뢰도의 오차 또는 정확도에 따라 제1 쌍별 신뢰도에 가중치를 적용하는 함수일 수 있다. 예를 들어, 제1 쌍별 신뢰도가 100% 정확한 경우, k(Qx,y)의 결과와 Qx,y는 동일할 수 있다.
또한, k(Qx,y)는 단순한 선형 함수일 수도 있고,지수 함수일 수도 있다.
도 11은 일실시예에 따라 제1 쌍별 신뢰도를 학습하는 과정의 일례이다.
제1 쌍별 신뢰도 학습부(131)는 현재 픽셀 x(1110)의 양안시차와 현재 픽셀 x(1110)에 이웃한 이웃 픽셀 y(1120)의 양안시차 간의 유사도를 기초로 현재 픽셀의 스무딩과 관련된 제1 쌍별 신뢰도를 학습할 수 있다.
예를 들어, 현재 픽셀 x(1110)의 코스트 비용인 cx(dx)(1111)가 가장 낮은 현재 픽셀 x(1110)의 양안시차인 dx와 이웃 픽셀 y(1120)의 코스트 비용인 cy(dy)(1121)가 가장 낮은 이웃 픽셀 y(1120)의 양안시차인 dy의 값이 유사할 수 있다.
이때, cx(dx)(1111)와 cy(dy)(1121)를 결합한 cx,y(d)(1131)은 도 11에 도시된 바와 같이 코스트 비용이 낮은 위치가 하나이므로, 제1 쌍별 신뢰도 학습부(131)는 현재 픽셀 x(1110)와 이웃 픽셀 y(1120) 간에 경계가 포함되지 않는 것으로 제1 쌍별 신뢰도를 학습할 수 있다.
반면, 현재 픽셀 x(1110)의 코스트 비용인 cx(dx)(1112)가 가장 낮은 현재 픽셀 x(1110)의 양안시차인 dx와 이웃 픽셀 y(1120)의 코스트 비용인 cy(dy)(1121)가 가장 낮은 이웃 픽셀 y(1120)의 양안시차인 dy의 값이 서로 다를 수 있다.
이때, cx(dx)(1112)와 cy(dy)(1121)를 결합한 cx,y(d)(1132)은 도 11에 도시된 바와 같이 코스트 비용이 낮은 위치가 복수이므로, 제1 쌍별 신뢰도 학습부(131)는 현재 픽셀 x(1110)와 이웃 픽셀 y(1120)이 각각 깊이 정보가 서로 다른 별개의 오브젝트에 포함된 것으로 판단할 수 있다. 따라서, 제1 쌍별 신뢰도 학습부(131)는 현재 픽셀 x(1110)와 이웃 픽셀 y(1120) 간에 경계가 포함되는 것으로 제1 쌍별 신뢰도를 학습할 수 있다.
도 12는 검증 정보 및 일실시예에 따라 학습한 제1 쌍별 신뢰도에 따라 추정한 결과의 다른 일례이다.
제1 쌍별 신뢰도 학습부(131)는 검증된 양안시차 정보에 포함된 픽셀들 중에서 불연속적인 픽셀 쌍을 추출하여 검증된 불연속 정보(1210)를 생성할 수 있다. 또한, 제1 쌍별 신뢰도 학습부(131)는 테스트 영상에 포함된 경계만을 표시한 불연속 정보(1210)을 검증된 불연속 정보(1210)로 입력 받을 수도 있다.
검증된 불연속 정보(1210)는 현재 픽셀의 우측, 또는 아래에 위치한 이웃 픽셀의 양안시차가 현재 픽셀의 양안시차와 서로 다른 경우, 검은색으로 현재 픽셀을 표시할 수 있다. 이때, 응답 추출부(420)가 추출하는 응답인 Q* x,y는 0일 수 있다.
또한, 검증된 불연속 정보(1210)는 이웃 픽셀의 양안시차가 현재 픽셀의 양안시차와 유사한 경우, 흰색으로 표시할 수 있다. 이때, 응답 추출부(420)가 추출하는 응답인 Q* x,y는 1일 수 있다.
그리고, 검증된 불연속 정보(1210)는 이웃 픽셀의 양안시차와 현재 픽셀의 양안시차 간의 유사도가 모호한 경우, 현재 픽셀을 회색으로 표시할 수도 있다.
제1 쌍별 신뢰도 학습부(131)는 검증된 불연속 정보(1210)에서 검은색으로 표시된 픽셀들을 기초로 픽셀들 각각이 경계에 포함되었는지 여부에 대한 제1 쌍별 신뢰도를 학습할 수 있다.
다음으로, 비용 함수 결정부(140)는 제1 쌍별 신뢰도 학습부(131)가 학습한 제1 쌍별 신뢰도를 비용 함수를 결정하고자 하는 실제 영상에 적용하여 불연속 정보(1220)를 추정할 수 있다. 이때, 불연속 정보(1220)에 포함된 픽셀들 중 제1 쌍별 신뢰도 Qx,y가 1인 픽셀은, 흰색으로 표시되고, 제1 쌍별 신뢰도 Qx,y가 0인 픽셀은 검은색으로 표시될 수 있다. 또한, 불연속 정보(1220)에 포함된 픽셀들 중 제1 쌍별 신뢰도 Qx,y가 0, 또는 1이 아닌 픽셀은 회색으로 표시될 수 있다.
도 13은 일실시예에 따라 제1 쌍별 신뢰도를 학습하는 과정의 일례이다.
먼저, 데이터 비용 추출부(110)는 좌영상(1311)에서 좌영상의 데이터 비용(1321)을 추출할 수 있다. 또한, 데이터 비용 추출부(110)는 우영상(1312)에서 우영상의 데이터 비용(1322)을 추출할 수 있다
다음으로, 신뢰측도 추출부(1010)는 좌영상(1311), 좌영상의 데이터 비용(1321), 우영상(1312) 및 우영상의 데이터 비용(1322)에서 현재 픽셀의 양안시차와 이웃 픽셀의 양안시차 간의 유사도와 관련된 신뢰측도(1331)을 추출할 수 있다.
이때, 응답 추출부(1020)는 검증 정보(1341)에서 신뢰측도(1331)에 대한 응답(1342)을 추출할 수 있다. 예를 들어, 검증 정보(1341)는 검증된 불연속 정보일 수 있다. 또한, 검증 정보(1341)은 검증된 양안시차 정보이고, 응답 추출부(102)는 검증된 양안시차 정보에서 검증된 불연속 정보를 생성할 수 있다. 그리고, 응답(1342)은 현재 픽셀이 경계에 포함되는지 여부에 대한 정보일 수 있다.
그 다음으로 신뢰도 학습부(1030)는 신뢰측도(1331)과 응답(1342) 간의 관계를 학습하여 제1 쌍별 신뢰도(1351)를 출력할 수 있다.
구체적으로, 신뢰도 학습부(1030)는 신뢰측도(1331)가 입력되면, 응답(1342)를 출력하는 함수 g(bx,y)를 학습할 수 있다. 이때, 학습된 함수 g(bx,y)는 비용 함수를 결정하고자 하는 실제 영상의 신뢰측도 벡터를 입력 받을 수 있다. 그리고, 학습된 함수 g(bx,y)는 실제 영상의 제1 쌍별 신뢰도(1351)인 Qx,y를 추정하여 출력할 수 있다.
마지막으로, 함수 학습부(1040)는 신뢰도 학습부(1030)가 학습한 함수 g(bx,y)가 추정하는 제1 쌍별 신뢰도(1351)인 Qx,y에 따라 스테레오 매칭의 계수를 출력하는 함수인 k(Qx,y)(1361)를 학습할 수 있다.
도 14는 일실시예에 따라 결정된 비용 함수를 이용하여 획득한 결과의 일례이다.
스테레오 매칭 장치(100)을 포함하는 스테레오 매칭 장치는 비용 함수 결정부(140)가 결정한 비용 함수를 이용하여 좌영상과 우영상을 매칭할 수 있다. 그리고, 스테레오 매칭 장치는 좌영상과 우영상을 매칭하여 좌영상의 양안시차 정보(1410)와 우영상의 양안시차 정보(1420)을 출력할 수 있다.
이때, 좌영상의 양안시차 정보(1410)와 우영상의 양안시차 정보(1420)는 기존 방법으로 출력한 좌영상의 양안시차 정보(330) 및 우영상의 양안시차 정보(340)보다 정확도가 향상될 수 있다.
도 15는 일실시예에 따른 스테레오 매칭 장치의 제2 쌍별 신뢰도 학습부의 구조를 도시한 도면이다.
도 15를 참고하면, 제2 쌍별 신뢰도 학습부(132)는 신뢰측도 추출부(1510), 응답 추출부(1520), 신뢰도 학습부(1530), 및 함수 학습부(1540)를 포함할 수 있다.
입력 영상이 연속된 프레임으로 구성된 스테레오 동영상(Stereo video)인 경우, 제2 쌍별 신뢰도 학습부(132)는 현재 프레임에 포함된 현재 픽셀과 이전 프레임에 포함된 이웃 픽셀 간의 관계를 나타내는 제2 쌍별 신뢰도를 학습할 수 있다.
신뢰측도 추출부(1510)는 좌영상, 우영상, 좌영상의 데이터 비용 및 우영상의 데이터 비용으로부터 이전 프레임의 양안시차와 현재 프레임의 양안시차 간의 유사도와 관련된 신뢰측도를 추출할 수 있다.
예를 들어, 신뢰측도 추출부(1510)는 현재 픽셀과 이웃 픽셀 간의 컬러 유사도에 대한 신뢰측도인 bc를 추출할 수 있다. 이때, bc는 수학식 13과 같이 정의될 수 있다.
또한, 신뢰측도 추출부(1010)는 현재 픽셀과 이웃 픽셀 간의 위치 유사도에 대한 신뢰측도인 bx를 추출할 수 있다. 이때, bx는 수학식 14와 같이 정의될 수 있다.
그리고, 신뢰측도 추출부(1010)는 현재 픽셀의 데이터 비용과 이웃 픽셀의 데이터 비용간의 유사도인 cx,y(d)를 기초로 현재 픽셀과 이웃 픽셀 간의 양안시차 유사도에 대한 신뢰측도인 bd를 추출할 수 있다. 이때, cx,y(d)와 bd는 수학식 17과 같이 정의될 수 있다.
이때, dy t-1는 프레임 t의 현재 픽셀 x에 대응하는 프레임 t-1의 이웃 픽셀 y의 양안시차일 수 있다.
그리고, 신뢰측도 추출부(1510)는 추출한 신뢰측도들을 하나의 벡터인 신뢰측도 벡터로 출력할 수 있다. 예를 들어, 신뢰측도 벡터 bx,y는 수학식 16과 같이 나타낼 수 있다.
응답 추출부(1520)는 검증된 양안시차 비디오(Disparity video)에서 신뢰측도 추출부(1510)가 추출한 신뢰측도에 대한 응답을 추출할 수 있다. 이때, 응답 추출부(1520)가 추출하는 응답은 이전 프레임에 포함된 이웃 픽셀의 양안시차가 현재 픽셀의 양안시차와 유사한지 여부에 대한 응답일 수 있다. 그리고, 이웃 픽셀은 이전 프레임에서 현재 프레임의 현재 픽셀에 대응하는 픽셀일 수 있다.
예를 들어, 프레임 t의 현재 픽셀 x의 양안시차와 프레임 t-1의 이웃 픽셀 y의 양안시차가 유사할 경우, 응답 추출부(1520)가 추출하는 응답인 R* x,y는 1일 수 있다. 또한, 프레임 t의 현재 픽셀 x의 양안시차와 프레임 t-1의 이웃 픽셀 y의 양안시차가 서로 다른 경우, 응답 추출부(1520)가 추출하는 응답인 R* x,y는 0일 수 있다.
신뢰도 학습부(1530)는 신뢰측도 추출부(1510)가 추출한 신뢰측도와 응답 추출부(1520)가 추출한 응답을 비교하여 제2 쌍별 신뢰도를 학습할 수 있다.
구체적으로, 신뢰도 학습부(1530)는 신뢰측도 추출부(1510)가 출력하는 신뢰측도 벡터 bx,y가 입력되면, 응답 추출부(1520)가 추출하는 응답인 R* x,y를 출력하는 함수 g(bx,y)를 학습할 수 있다. 예를 들어, 신뢰도 학습부(1030)는 지도 학습 기법으로 함수 g(bx,y)를 학습할 수 있다. 이때, 신뢰측도 추출부(1510)가 출력하는 신뢰측도 벡터 bx,y는 검증된 불연속 정보에 대응하는 테스트 영상에서 추출한 신뢰측도 벡터일 수 있다.
이때, 학습된 함수 g(bx,y)는 비용 함수를 결정하고자 하는 실제 영상의 신뢰측도 벡터를 입력 받을 수 있다. 그리고, 학습된 함수 g(bx,y)는 실제 영상의 제2 쌍별 신뢰도인 Rx,y를 추정할 수 있다.
함수 학습부(1540)는 신뢰도 학습부(1530)가 학습한 함수 g(bx,y)가 추정하는 제2 쌍별 신뢰도인 Rx,y에 따라 스테레오 매칭의 계수를 출력하는 함수인 k'(Rx,y)를 학습할 수 있다. 이때, 함수 학습부(1040)는 스테레오 매칭 방법의 양안시차 오차를 최소화할 수 있도록 k'(Rx,y)를 학습할 수 있다. 즉, k'(Rx,y)는 제2 쌍별 신뢰도의 오차 또는 정확도에 따라 제2 쌍별 신뢰도에 가중치를 적용하는 함수일 수 있다. 예를 들어, 제2 쌍별 신뢰도가 100% 정확한 경우, k'(Rx,y)의 결과와 Rx,y는 동일할 수 있다.
또한, k'(Rx,y)는 단순한 선형 함수일 수도 있고,지수 함수일 수도 있다.
도 16은 일실시예에 따라 제2 쌍별 신뢰도를 학습하는 과정의 일례이다.
제2 쌍별 신뢰도 학습부(130)는 프레임 t의 현재 픽셀 x의 양안시차와 프레임 t-1의 이웃 픽셀 y의 양안시차 간의 유사도를 기초로 시간 변화에 따른 현재 픽셀의 제2 쌍별 신뢰도를 학습할 수 있다.
구체적으로, 제2 쌍별 신뢰도 학습부(130)는 프레임 t-1의 이웃 픽셀 y의 양안시차인 dy(1611) 중에서 이웃 픽셀 y의 코스트 비용인 cy t-1(dy)가 가장 낮은 dy를 검색할 수 있다.
또한, 제2 쌍별 신뢰도 학습부(130)는 프레임 t의 현재 픽셀 x의 양안시차인 dx(1621) 중에서 현재 픽셀 x의 코스트 비용인 cx t-1(dx)가 가장 낮은 dx를 검색할 수 있다.
그리고, 제2 쌍별 신뢰도 학습부(130)는 dy(1611) 와 dx(1621)를 결합하여 d(1631)를 생성할 수 있다. 또한, 제2 쌍별 신뢰도 학습부(130)는 cy t-1(dy)와 cx t-1(dx)를 결합하여 cx,y(dy t-1)를 생성할 수 있다. 이때, d(1631) 중에서 cx,y(dy t-1)가 최소가 되는 d는 cy t-1(dy)가 가장 낮은 dy 및 cx t-1(dx)가 가장 낮은 dx에 따라 결정될 수 있다.
예를 들어, cy t-1(dy)가 가장 낮은 dy 및 cx t-1(dx)가 가장 낮은 dx가 유사한 경우, d(1631)는 도 16에 도시된 바와 같이 하나의 최저 cx,y(dy t-1)를 가질 수 있다. 이때, 제2 쌍별 신뢰도 학습부(132)는 프레임 t-1의 이웃 픽셀 y의 양안시차와 프레임 t의 현재 픽셀 x의 양안시차가 유사하다고 판단할 수 있다.
도 17은 일실시예에 따른 스테레오 매칭 방법을 도시한 도면이다.
단계(1710)에서 데이터 비용 추출부(110)는 좌영상 및 우영상에서 각각 데이터 비용을 추출할 수 있다.
단계(1720)에서 단항 신뢰도 학습부(120)는 좌영상과 우영상 간의 양안시차(disparity)를 기초로 현재 픽셀의 데이터 비용과 관련된 단항 신뢰도(unary confidence)를 학습할 수 있다. 이때, 단항 신뢰도는 현재 픽셀의 양안시차의 정확도, 또는 현재 픽셀이 폐색 영역(Occlusion area)에 포함되는지 여부에 따라 결정될 수 있다.
그리고, 단항 신뢰도 학습부(120)는 좌영상, 우영상, 및 단계(1710)에서 추출한 좌영상의 데이터 비용, 우영상의 데이터 비용으로부터 현재 픽셀의 양안시차의 정확도, 또는 현재 픽셀이 폐색 영역에 포함되는지 여부와 관련된 신뢰측도를 추출하여 단항 신뢰도를 학습할 수 있다.
단계(1730)에서 제1 쌍별 신뢰도 학습부(131)는 현재 픽셀과 현재 픽셀에 이웃한 이웃 픽셀 간의 유사도를 기초로 현재 픽셀의 스무딩과 관련된 제1 쌍별 신뢰도(pairwise confidence)를 학습할 수 있다. 이때, 제1 쌍별 신뢰도는 현재 픽셀과 이웃 픽셀의 사이에 경계가 위치하는지 여부에 따라 결정될 수 있다.
그리고, 제1 쌍별 신뢰도 학습부(131)는 좌영상, 우영상, 및 단계(1710)에서 추출한 좌영상의 데이터 비용, 우영상의 데이터 비용으로부터 현재 픽셀과 이웃 픽셀 간의 유사도와 관련된 신뢰측도를 추출하여 제1 쌍별 신뢰도를 학습할 수 있다.
단계(1740)에서 제2 쌍별 신뢰도 학습부(132)는 현재 프레임의 양안시차와 현재 프레임에 시간적으로 이웃한 이전 프레임의 양안시차 간의 유사도를 기초로 현재 프레임에 포함된 현재 픽셀의 제2 쌍별 신뢰도(Temporally confidence)를 학습할 수 있다. 이때, 제2 쌍별 신뢰도는 현재 프레임에 포함되는 현재 픽셀과, 이전 프레임에 포함되며, 현재 픽셀에 대응하는 픽셀이 유사한지 여부에 따라 결정될 수 있다. 단계(1740)는 스테레오 매칭을 하기 위한 입력 영상이 연속된 복수의 프레임을 포함하는 스테레오 동영상인 경우 수행될 수 있다.
단계(1750)에서 비용 함수 결정부(140)는 불연속 비용, 단계(1710)에서 추출한 좌영상의 데이터 비용, 우영상의 데이터 비용, 단계(1720)에서 학습한 단항 신뢰도, 단계(1730)에서 학습한 제1 쌍별 신뢰도, 및 단계(1740)에서 학습한 제2 쌍별 신뢰도 중 적어도 하나를 이용하여 스테레오 매칭의 비용 함수(cost function)를 결정할 수 있다.
단계(1760)에서 스테레오 매칭부(150)는 단계(1750)에서 결정한 비용 함수를 이용하여 최소 비용으로 좌영상과 우영상을 스테레오 매칭하여 좌영상의 양안시차 정보 및 우영상의 양안시차 정보를 출력할 수 있다.
도 18은 일실시예에 따른 스테레오 매칭 방법에서 단항 신뢰도를 학습하는 방법을 도시한 도면이다. 도 18에 도시된 단계(1810) 내지 단계(1840)는 도 17의 단계(1720)에 포함될 수 있다.
단계(1810)에서 신뢰측도 추출부(410)는 좌영상, 우영상, 단계(1710)에서 추출한 좌영상의 데이터 비용 및 우영상의 데이터 비용으로부터 현재 픽셀의 양안시차의 정확도와 관련된 신뢰측도를 추출할 수 있다. 또한, 신뢰측도 추출부(410)는 좌영상, 우영상, 좌영상의 데이터 비용 및 우영상의 데이터 비용으로부터 현재 픽셀이 폐색 영역에 포함되는지 여부와 관련된 신뢰측도를 추출할 수도 있다.
단계(1820)에서 응답 추출부(420)는 단계(1810)에서 추출한 신뢰측도에 대한 응답을 검증된 양안시차 정보에서 추출할 수 있다. 이때, 응답 추출부(420)가 추출하는 응답은 현재 픽셀에서 데이터 비용을 최소화하여 정확한 양안시차를 결정할 수 있는지에 대한 응답일 수 있다. 또한, 응답 추출부(420)가 추출하는 응답은 현재 픽셀이 폐색 영역에 포함되는지에 대한 응답일 수도 있다.
단계(1830)에서 신뢰도 학습부(430)는 단계(1810)에서 추출한 신뢰측도와 단계(1820)에서 추출한 응답 간의 관계를 학습할 수 있다. 구체적으로, 신뢰도 학습부(430)는 단계(1810)에서 추출한 신뢰측도가 입력되면, 단계(1820)에서 추출하는 응답을 출력하는 함수 f(ax)를 학습할 수 있다. 이때, 학습된 함수 f(ax)는 비용 함수를 결정하고자 하는 실제 영상의 신뢰측도 벡터를 입력 받을 수 있다. 그리고, 학습된 함수 f(ax)는 실제 영상의 단항 신뢰도를 추정하여 출력할 수 있다.
단계(1840)에서 함수 학습부(440)는 단계(1830)에서 학습한 함수 f(ax)가 추정하는 단항 신뢰도인 Px에 따라 스테레오 매칭의 계수를 출력하는 함수인 h(Px)를 학습할 수 있다. 이때, 함수 학습부(1040)는 스테레오 매칭 방법의 양안시차 오차를 최소화할 수 있도록 h(Px)를 학습할 수 있다.
도 19는 일실시예에 따른 스테레오 매칭 방법에서 제1 쌍별 신뢰도를 학습하는 방법을 도시한 도면이다. 도 19에 도시된 단계(1910) 내지 단계(1940)는 도 17의 단계(1730)에 포함될 수 있다.
단계(1910)에서 신뢰측도 추출부(1010)는 좌영상, 우영상, 단계(1710)에서 추출한 좌영상의 데이터 비용 및 우영상의 데이터 비용으로부터 현재 픽셀의 양안시차와 이웃 픽셀의 양안시차 간의 유사도와 관련된 신뢰측도를 추출할 수 있다.
단계(1920)에서 응답 추출부(1020)는 단계(1910)에서 추출한 신뢰측도에 대한 응답을 검증된 불연속 정보에서 추출할 수 있다. 이때, 검증된 불연속 정보는 검증된 양안시차 정보에 포함된 픽셀들 중에서 불연속적인 픽셀 쌍을 추출하여 생성할 수 있다. 그리고, 응답 추출부(1020)가 추출하는 응답은 현재 픽셀과 이웃 픽셀의 사이에 경계가 위치하는지 여부에 대한 응답일 수 있다.
단계(1930)에서 신뢰도 학습부(1030)는 단계(1910)에서 추출한 신뢰측도와 단계(1920)에서 추출한 응답 간의 관계를 학습하여 제1 쌍별 신뢰도를 출력할 수 있다. 구체적으로, 신뢰도 학습부(1030)는 단계(1910)에서 추출한 신뢰측도가 입력되면, 단계(1920)에서 추출한 응답을 출력하는 함수 g(bx,y)를 학습할 수 있다. 이때, 학습된 함수 g(bx,y)는 비용 함수를 결정하고자 하는 실제 영상의 신뢰측도 벡터를 입력 받을 수 있다. 그리고, 학습된 함수 g(bx,y)는 실제 영상의 제1 쌍별 신뢰도인 Qx,y를 추정하여 출력할 수 있다.
단계(1940)에서 함수 학습부(1040)는 단계(1930)에서 학습한 함수 g(bx,y)가 추정하는 제1 쌍별 신뢰도인 Qx,y에 따라 스테레오 매칭의 계수를 출력하는 함수인 k(Qx,y)를 학습할 수 있다. 이때, 함수 학습부(1040)는 스테레오 매칭 방법의 양안시차 오차를 최소화할 수 있도록 k(Qx,y)를 학습할 수 있다.
도 20은 일실시예에 따른 스테레오 매칭 방법에서 제2 쌍별 신뢰도를 학습하는 방법을 도시한 도면이다. 도 20에 도시된 단계(2010) 내지 단계(2040)는 도 17의 단계(1740)에 포함될 수 있다.
단계(2010)에서 신뢰측도 추출부(1510)는 좌영상, 우영상, 단계(1710)에서 추출한 좌영상의 데이터 비용 및 우영상의 데이터 비용으로부터 이전 프레임의 양안시차와 현재 프레임의 양안시차 간의 유사도와 관련된 신뢰측도를 추출할 수 있다.
단계(2020)에서 응답 추출부(1520)는 단계(2010)에서 추출한 신뢰측도에 대한 응답을 검증된 양안시차 비디오에서 추출할 수 있다. 이때, 응답 추출부(1520)가 추출하는 응답은 이전 프레임에 포함된 이웃 픽셀의 양안시차가 현재 픽셀의 양안시차와 유사한지 여부에 대한 응답일 수 있다.
단계(2030)에서 신뢰도 학습부(1530)는 단계(2010)에서 추출한 신뢰측도와 단계(2020)에서 추출한 응답을 학습하여 제2 쌍별 신뢰도를 출력할 수 있다. 구체적으로, 신뢰도 학습부(1530)는 단계(2010)에서 추출한 신뢰측도가 입력되면, 단계(2020)에서 추출한 응답을 출력하는 함수 g(bx,y)를 학습할 수 있다.
이때, 학습된 함수 g(bx,y)는 비용 함수를 결정하고자 하는 실제 영상의 신뢰측도 벡터를 입력 받을 수 있다. 그리고, 학습된 함수 g(bx,y)는 실제 영상의 제2 쌍별 신뢰도인 Rx,y를 추정하여 출력할 수 있다.
단계(2040)에서 함수 학습부(1540)는 단계(2030)에서 학습한 함수 g(bx,y)가 추정하는 제2 쌍별 신뢰도인 Rx,y에 따라 스테레오 매칭의 계수를 출력하는 함수인 k'(Rx,y)를 학습할 수 있다. 이때, 함수 학습부(1040)는 스테레오 매칭 방법의 양안시차 오차를 최소화할 수 있도록 k'(Rx,y)를 학습할 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.
100: 스테레오 매칭 장치
110: 데이터 비용 추출부
120: 단항 신뢰도 학습부
131: 제1 쌍별 신뢰도 학습부
132: 제2 쌍별 신뢰도 학습부
140: 비용 함수 결정부
150: 스테레오 매칭부
110: 데이터 비용 추출부
120: 단항 신뢰도 학습부
131: 제1 쌍별 신뢰도 학습부
132: 제2 쌍별 신뢰도 학습부
140: 비용 함수 결정부
150: 스테레오 매칭부
Claims (29)
- 현재 픽셀과 이웃 픽셀간의 관계를 나타내는 쌍별 신뢰도(pairwise confidence)를 학습하는 단계;
상기 쌍별 신뢰도를 기초로 스테레오 매칭의 비용 함수(cost function)를 결정하는 단계; 및
상기 비용 함수를 이용하여 최소 비용으로 좌영상과 우영상을 스테레오 매칭하는 단계
를 포함하고,
상기 비용 함수를 결정하는 단계는,
좌영상의 데이터 비용, 우영상의 데이터 비용, 현재 픽셀의 양안시차와 이웃 픽셀의 양안시차 간의 유사도, 및 상기 쌍별 신뢰도를 이용하여 상기 비용 함수를 결정하는 스테레오 매칭 방법. - 제1항에 있어서,
상기 쌍별 신뢰도를 학습하는 단계는,
현재 프레임에 포함된 현재 픽셀과 이웃 픽셀 간의 관계를 나타내는 제1 쌍별 신뢰도를 학습하는 단계; 또는
현재 프레임에 포함된 현재 픽셀과 이전 프레임에 포함된 이웃 픽셀 간의 관계를 나타내는 제2 쌍별 신뢰도를 학습하는 단계
를 포함하는 스테레오 매칭 방법. - 제2항에 있어서,
상기 제1 쌍별 신뢰도를 학습하는 단계는,
좌영상, 우영상, 좌영상의 데이터 비용 및 우영상의 데이터 비용으로부터 현재 픽셀의 양안시차와 이웃 픽셀의 양안시차 간의 유사도와 관련된 신뢰측도(Confidence Measure)를 추출하는 단계;
검증된 불연속 정보에서 상기 신뢰측도에 대한 응답을 추출하는 단계; 및
추출한 신뢰측도 및 상기 응답 간의 관계를 학습하는 단계
를 포함하는 스테레오 매칭 방법. - 제3항에 있어서,
상기 신뢰측도를 추출하는 단계는,
상기 현재 픽셀과 상기 이웃 픽셀 간의 컬러 유사도에 대한 신뢰측도, 상기 현재 픽셀과 상기 이웃 픽셀 간의 위치 유사도에 대한 신뢰측도, 및 상기 현재 픽셀과 상기 이웃 픽셀 간의 양안시차 유사도에 대한 신뢰측도 중 적어도 하나를 추출하는 스테레오 매칭 방법. - 제3항에 있어서,
상기 제2 쌍별 신뢰도를 학습하는 단계는,
좌영상, 우영상, 좌영상의 데이터 비용 및 우영상의 데이터 비용으로부터 이전 프레임의 양안시차와 현재 프레임의 양안시차 간의 유사도와 관련된 신뢰측도를 추출하는 단계;
검증된 양안시차 비디오(Disparity video)에서 상기 신뢰측도에 대한 응답을 추출하는 단계; 및
추출한 신뢰측도 및 상기 응답 간의 관계를 학습하는 단계
를 포함하는 스테레오 매칭 방법. - 삭제
- 제1항에 있어서,
현재 픽셀의 데이터 비용과 관련된 단항 신뢰도(unary confidence)를 학습하는 단계;
를 더 포함하고,
상기 비용 함수를 결정하는 단계는,
상기 단항 신뢰도 및 상기 쌍별 신뢰도를 기초로 스테레오 매칭의 비용 함수를 결정하는 스테레오 매칭 방법. - 제7항에 있어서,
상기 단항 신뢰도를 학습하는 단계는,
좌영상, 우영상, 좌영상의 데이터 비용 및 우영상의 데이터 비용으로부터 현재 픽셀이 폐색 영역(Occlusion area)에 포함되는지 여부와 관련된 신뢰측도를 추출하는 단계;
검증된 폐색 영역 정보에서 상기 신뢰측도에 대한 응답을 추출하는 단계; 및
추출한 신뢰측도 및 상기 응답 간의 관계를 학습하는 단계
를 포함하는 스테레오 매칭 방법. - 제8항에 있어서,
상기 신뢰측도를 추출하는 단계는,
최소화한 데이터 비용의 유일성, 또는 특이성에 대한 신뢰측도, 현재 픽셀이 폐색 영역에 포함되는지에 대한 신뢰측도, 현재 픽셀에 포함된 텍스처에 대한 신뢰측도 중 적어도 하나를 추출하는 스테레오 매칭 방법. - 제7항에 있어서,
상기 단항 신뢰도를 학습하는 단계는,
좌영상, 우영상, 좌영상의 데이터 비용 및 우영상의 데이터 비용으로부터 현재 픽셀의 양안시차의 정확도와 관련된 신뢰측도를 추출하는 단계;
검증된 양안시차 정보에서 상기 신뢰측도에 대한 응답을 추출하는 단계; 및
추출한 신뢰측도 및 상기 응답 간의 관계를 학습하는 단계
를 포함하는 스테레오 매칭 방법. - 제10항에 있어서,
상기 신뢰측도를 추출하는 단계는,
최소화한 좌영상의 데이터 비용이 최소화한 우영상의 데이터 비용과 동일한지 여부에 대한 신뢰측도, 현재 픽셀이 폐색 영역에 포함되는지에 대한 신뢰측도, 현재 픽셀에 포함된 텍스처에 대한 신뢰측도 중 적어도 하나를 추출하는 스테레오 매칭 방법. - 현재 픽셀이 폐색 영역(Occlusion area)에 포함되는지 여부를 나타내는 단항 신뢰도(unary confidence)를 학습하는 단계;
현재 픽셀과 이웃 픽셀간의 관계를 나타내는 쌍별 신뢰도(pairwise confidence)를 학습하는 단계;
상기 단항 신뢰도를 기초로 스테레오 매칭의 비용 함수를 결정하는 단계; 및
상기 비용 함수를 이용하여 최소 비용으로 좌영상과 우영상을 스테레오 매칭하는 단계
를 포함하고,
상기 비용 함수를 결정하는 단계는,
좌영상의 데이터 비용, 우영상의 데이터 비용, 현재 픽셀의 양안시차와 이웃 픽셀의 양안시차 간의 유사도, 상기 단항 신뢰도 및 상기 쌍별 신뢰도를 이용하여 상기 비용 함수를 결정하는 스테레오 매칭 방법. - 제12항에 있어서,
상기 단항 신뢰도를 학습하는 단계는,
좌영상, 우영상, 좌영상의 데이터 비용 및 우영상의 데이터 비용으로부터 현재 픽셀이 폐색 영역(Occlusion area)에 포함되는지 여부와 관련된 신뢰측도를 추출하는 단계;
검증된 폐색 영역 정보에서 상기 신뢰측도에 대한 응답을 추출하는 단계; 및
추출한 신뢰측도 및 상기 응답 간의 관계를 학습하는 단계
를 포함하는 스테레오 매칭 방법. - 삭제
- 제1항 내지 제5항, 제7항 내지 제13항 중 어느 한 항의 방법을 실행하기 위한 프로그램이 기록된 컴퓨터에서 판독 할 수 있는 기록 매체.
- 현재 픽셀과 이웃 픽셀간의 관계를 나타내는 쌍별 신뢰도(pairwise confidence)를 학습하는 쌍별 신뢰도 학습부;
상기 쌍별 신뢰도를 기초로 스테레오 매칭의 비용 함수(cost function)를 결정하는 비용 함수 결정부; 및
상기 비용 함수를 이용하여 최소 비용으로 좌영상과 우영상을 스테레오 매칭하는 스테레오 매칭부
를 포함하고,
상기 비용 함수 결정부는,
좌영상의 데이터 비용, 우영상의 데이터 비용, 현재 픽셀의 양안시차와 이웃 픽셀의 양안시차 간의 유사도, 및 상기 쌍별 신뢰도를 이용하여 상기 비용 함수를 결정하는 스테레오 매칭 장치. - 제16항에 있어서,
상기 쌍별 신뢰도 학습부는,
현재 프레임에 포함된 현재 픽셀과 이웃 픽셀 간의 관계를 나타내는 제1 쌍별 신뢰도를 학습하는 제1 쌍별 신뢰도 학습부; 또는
현재 프레임에 포함된 현재 픽셀과 이전 프레임에 포함된 이웃 픽셀 간의 관계를 나타내는 제2 쌍별 신뢰도를 학습하는 제2 쌍별 신뢰도 학습부
를 포함하는 스테레오 매칭 장치. - 제17항에 있어서,
상기 제1 쌍별 신뢰도 학습부는,
좌영상, 우영상, 좌영상의 데이터 비용 및 우영상의 데이터 비용으로부터 현재 픽셀의 양안시차와 이웃 픽셀의 양안시차 간의 유사도와 관련된 신뢰측도(Confidence Measure)를 추출하는 신뢰측도 추출부;
검증된 불연속 정보에서 상기 신뢰측도에 대한 응답을 추출하는 응답 추출부; 및
추출한 신뢰측도 및 상기 응답 간의 관계를 학습하는 신뢰도 학습부
를 포함하는 스테레오 매칭 장치. - 제18항에 있어서,
상기 신뢰측도 추출부는,
상기 현재 픽셀과 상기 이웃 픽셀 간의 컬러 유사도에 대한 신뢰측도, 상기 현재 픽셀과 상기 이웃 픽셀 간의 위치 유사도에 대한 신뢰측도, 및 상기 현재 픽셀과 상기 이웃 픽셀 간의 양안시차 유사도에 대한 신뢰측도 중 적어도 하나를 추출하는 스테레오 매칭 장치. - 제17항에 있어서,
상기 제2 쌍별 신뢰도 학습부는,
좌영상, 우영상, 좌영상의 데이터 비용 및 우영상의 데이터 비용으로부터 이전 프레임의 양안시차와 현재 프레임의 양안시차 간의 유사도와 관련된 신뢰측도를 추출하는 신뢰측도 추출부;
검증된 양안시차 비디오(Disparity video)에서 상기 신뢰측도에 대한 응답을 추출하는 응답 추출부; 및
추출한 신뢰측도 및 상기 응답 간의 관계를 학습하는 신뢰도 학습부
를 포함하는 스테레오 매칭 장치. - 삭제
- 제16항에 있어서,
현재 픽셀의 데이터 비용과 관련된 단항 신뢰도(unary confidence)를 학습하는 단항 신뢰도 학습부;
를 더 포함하고,
상기 비용 함수 결정부는,
상기 단항 신뢰도 및 상기 쌍별 신뢰도를 기초로 스테레오 매칭의 비용 함수를 결정하는 스테레오 매칭 장치. - 제22항에 있어서,
상기 단항 신뢰도 학습부는,
좌영상, 우영상, 좌영상의 데이터 비용 및 우영상의 데이터 비용으로부터 현재 픽셀이 폐색 영역(Occlusion area)에 포함되는지 여부와 관련된 신뢰측도를 추출하는 신뢰측도 추출부;
검증된 폐색 영역 정보에서 상기 신뢰측도에 대한 응답을 추출하는 응답 추출부; 및
추출한 신뢰측도 및 상기 응답 간의 관계를 학습하는 신뢰도 학습부
를 포함하는 스테레오 매칭 장치. - 제23항에 있어서,
상기 신뢰측도 추출부는,
최소화한 데이터 비용의 유일성, 또는 특이성에 대한 신뢰측도, 현재 픽셀이 폐색 영역에 포함되는지에 대한 신뢰측도, 현재 픽셀에 포함된 텍스처에 대한 신뢰측도 중 적어도 하나를 추출하는 스테레오 매칭 장치. - 제22항에 있어서,
상기 단항 신뢰도 학습부는,
좌영상, 우영상, 좌영상의 데이터 비용 및 우영상의 데이터 비용으로부터 현재 픽셀의 양안시차의 정확도와 관련된 신뢰측도를 추출하는 신뢰측도 추출부;
검증된 양안시차 정보에서 상기 신뢰측도에 대한 응답을 추출하는 응답 추출부; 및
추출한 신뢰측도 및 상기 응답 간의 관계를 학습하는 신뢰도 학습부
를 포함하는 스테레오 매칭 장치. - 제25항에 있어서,
상기 신뢰측도 추출부는,
최소화한 좌영상의 데이터 비용이 최소화한 우영상의 데이터 비용과 동일한지 여부에 대한 신뢰측도, 현재 픽셀이 폐색 영역에 포함되는지에 대한 신뢰측도, 현재 픽셀에 포함된 텍스처에 대한 신뢰측도 중 적어도 하나를 추출하는 스테레오 매칭 장치. - 현재 픽셀이 폐색 영역(Occlusion area)에 포함되는지 여부를 나타내는 단항 신뢰도(unary confidence)를 학습하는 단항 신뢰도 학습부;
현재 픽셀과 이웃 픽셀간의 관계를 나타내는 쌍별 신뢰도(pairwise confidence)를 학습하는 쌍별 신뢰도 학습부;
상기 단항 신뢰도를 기초로 스테레오 매칭의 비용 함수를 결정하는 비용 함수 결정부; 및
상기 비용 함수를 이용하여 최소 비용으로 좌영상과 우영상을 스테레오 매칭하는 스테레오 매칭부
를 포함하고,
상기 비용 함수 결정부는,
좌영상의 데이터 비용, 우영상의 데이터 비용, 현재 픽셀의 양안시차와 이웃 픽셀의 양안시차 간의 유사도, 상기 단항 신뢰도 및 상기 쌍별 신뢰도를 이용하여 상기 비용 함수를 결정하는 스테레오 매칭 장치. - 제27항에 있어서,
상기 단항 신뢰도 학습부는,
좌영상, 우영상, 좌영상의 데이터 비용 및 우영상의 데이터 비용으로부터 현재 픽셀이 폐색 영역(Occlusion area)에 포함되는지 여부와 관련된 신뢰측도를 추출하는 신뢰측도 추출부;
검증된 폐색 영역 정보에서 상기 신뢰측도에 대한 응답을 추출하는 응답 추출부; 및
추출한 신뢰측도 및 상기 응답 간의 관계를 학습하는 신뢰도 학습부
를 포함하는 스테레오 매칭 장치.
- 삭제
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020140091042A KR102214934B1 (ko) | 2014-07-18 | 2014-07-18 | 단항 신뢰도 및 쌍별 신뢰도 학습을 통한 스테레오 매칭 장치 및 방법 |
| US14/580,895 US9916667B2 (en) | 2014-07-18 | 2014-12-23 | Stereo matching apparatus and method through learning of unary confidence and pairwise confidence |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020140091042A KR102214934B1 (ko) | 2014-07-18 | 2014-07-18 | 단항 신뢰도 및 쌍별 신뢰도 학습을 통한 스테레오 매칭 장치 및 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20160010120A KR20160010120A (ko) | 2016-01-27 |
| KR102214934B1 true KR102214934B1 (ko) | 2021-02-10 |
Family
ID=55074828
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020140091042A KR102214934B1 (ko) | 2014-07-18 | 2014-07-18 | 단항 신뢰도 및 쌍별 신뢰도 학습을 통한 스테레오 매칭 장치 및 방법 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US9916667B2 (ko) |
| KR (1) | KR102214934B1 (ko) |
Families Citing this family (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102214934B1 (ko) * | 2014-07-18 | 2021-02-10 | 삼성전자주식회사 | 단항 신뢰도 및 쌍별 신뢰도 학습을 통한 스테레오 매칭 장치 및 방법 |
| JP5980294B2 (ja) | 2014-10-27 | 2016-08-31 | キヤノン株式会社 | データ処理装置、撮像装置、およびデータ処理方法 |
| KR102350232B1 (ko) | 2014-11-20 | 2022-01-13 | 삼성전자주식회사 | 스테레오 영상 매칭 방법 및 장치 |
| KR101766149B1 (ko) * | 2016-07-05 | 2017-08-07 | 현대자동차주식회사 | 저연산 스테레오 영상 매칭 장치 및 방법 |
| US10462445B2 (en) | 2016-07-19 | 2019-10-29 | Fotonation Limited | Systems and methods for estimating and refining depth maps |
| US10839535B2 (en) | 2016-07-19 | 2020-11-17 | Fotonation Limited | Systems and methods for providing depth map information |
| KR101784620B1 (ko) * | 2016-07-26 | 2017-11-06 | 연세대학교 산학협력단 | 스테레오 매칭을 통한 깊이값의 신뢰도 측정 방법 및 장치 |
| KR20180087994A (ko) * | 2017-01-26 | 2018-08-03 | 삼성전자주식회사 | 스테레오 매칭 방법 및 영상 처리 장치 |
| CN107240083B (zh) * | 2017-06-29 | 2020-06-09 | 海信集团有限公司 | 一种修补视差图中噪点的方法及装置 |
| KR102455632B1 (ko) * | 2017-09-14 | 2022-10-17 | 삼성전자주식회사 | 스테레오 매칭 방법 및 장치 |
| CN109785390B (zh) * | 2017-11-13 | 2022-04-01 | 虹软科技股份有限公司 | 一种用于图像矫正的方法和装置 |
| CN108154529B (zh) * | 2018-01-04 | 2021-11-23 | 北京大学深圳研究生院 | 一种双目图像的立体匹配方法及系统 |
| CN110220493B (zh) * | 2018-03-02 | 2023-11-10 | 北京图森智途科技有限公司 | 一种双目测距方法及其装置 |
| CN108682026B (zh) * | 2018-03-22 | 2021-08-06 | 江大白 | 一种基于多匹配基元融合的双目视觉立体匹配方法 |
| US10878590B2 (en) * | 2018-05-25 | 2020-12-29 | Microsoft Technology Licensing, Llc | Fusing disparity proposals in stereo matching |
| KR102186764B1 (ko) * | 2019-01-31 | 2020-12-04 | 연세대학교 산학협력단 | 사이클 일관성 기반 옵티컬플로우 및 디스패리티 추정 장치 및 방법 |
| KR102609829B1 (ko) * | 2020-11-27 | 2023-12-04 | 연세대학교 산학협력단 | 생성적 적대 신경망을 이용한 스테레오 매칭 신뢰도 추정 장치 및 방법 |
Family Cites Families (34)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5748199A (en) * | 1995-12-20 | 1998-05-05 | Synthonics Incorporated | Method and apparatus for converting a two dimensional motion picture into a three dimensional motion picture |
| US6078701A (en) * | 1997-08-01 | 2000-06-20 | Sarnoff Corporation | Method and apparatus for performing local to global multiframe alignment to construct mosaic images |
| US6744923B1 (en) | 1999-08-30 | 2004-06-01 | Cornell Research Foundation, Inc. | System and method for fast approximate energy minimization via graph cuts |
| JP4069855B2 (ja) * | 2003-11-27 | 2008-04-02 | ソニー株式会社 | 画像処理装置及び方法 |
| US7330593B2 (en) | 2004-06-25 | 2008-02-12 | Stmicroelectronics, Inc. | Segment based image matching method and system |
| CN101356831B (zh) | 2005-11-30 | 2010-09-01 | 意大利电信股份公司 | 用于确定立体视觉中的分散视差场的方法 |
| US8645440B2 (en) | 2007-06-11 | 2014-02-04 | Guy Rosman | Acceleration of multidimensional scaling by vector extrapolation techniques |
| IL191615A (en) * | 2007-10-23 | 2015-05-31 | Israel Aerospace Ind Ltd | A method and system for producing tie points for use in stereo adjustment of stereoscopic images and a method for identifying differences in the landscape taken between two time points |
| CN101459857B (zh) * | 2007-12-10 | 2012-09-05 | 华为终端有限公司 | 通信终端 |
| KR101419979B1 (ko) | 2008-01-29 | 2014-07-16 | 톰슨 라이센싱 | 2ｄ 이미지 데이터를 스테레오스코픽 이미지 데이터로 변환하기 위한 방법 및 시스템 |
| WO2009152769A1 (zh) * | 2008-06-17 | 2009-12-23 | 深圳华为通信技术有限公司 | 视频通讯方法、装置及系统 |
| KR100942925B1 (ko) * | 2008-08-11 | 2010-02-22 | 한국전자통신연구원 | 스테레오 비전 시스템 및 그 제어방법 |
| WO2010052741A1 (en) * | 2008-11-07 | 2010-05-14 | Telecom Italia S.P.A. | Method and system for producing multi-view 3d visual contents |
| US8571303B2 (en) | 2008-11-25 | 2013-10-29 | Nec System Technologies, Ltd. | Stereo matching processing system, stereo matching processing method and recording medium |
| US8761491B2 (en) * | 2009-02-06 | 2014-06-24 | Himax Technologies Limited | Stereo-matching processor using belief propagation |
| US8326036B2 (en) | 2009-02-20 | 2012-12-04 | Qylur Security Systems, Inc. | Automated image separation method |
| US7901095B2 (en) * | 2009-03-27 | 2011-03-08 | Seiko Epson Corporation | Resolution scalable view projection |
| US8385630B2 (en) * | 2010-01-05 | 2013-02-26 | Sri International | System and method of processing stereo images |
| US8458074B2 (en) | 2010-04-30 | 2013-06-04 | Corelogic Solutions, Llc. | Data analytics models for loan treatment |
| WO2011156001A1 (en) * | 2010-06-07 | 2011-12-15 | Sti Medical Systems, Llc | Versatile video interpretation,visualization, and management system |
| US8488870B2 (en) * | 2010-06-25 | 2013-07-16 | Qualcomm Incorporated | Multi-resolution, multi-window disparity estimation in 3D video processing |
| US8666144B2 (en) * | 2010-09-02 | 2014-03-04 | Edge 3 Technologies, Inc. | Method and apparatus for determining disparity of texture |
| WO2012068724A1 (zh) | 2010-11-23 | 2012-05-31 | 深圳超多维光电子有限公司 | 立体图像获取系统及方法 |
| KR101187600B1 (ko) | 2011-02-09 | 2012-10-08 | 한국과학기술연구원 | 스테레오 카메라 기반의 3차원 실시간 입술 특징점 추출을 이용한 음성 인식 장치 및 음성 인식 방법 |
| KR101875532B1 (ko) | 2011-11-23 | 2018-07-11 | 엘지이노텍 주식회사 | 계층적 스테레오 매칭 장치 및 방법 |
| KR101289003B1 (ko) * | 2011-12-19 | 2013-07-23 | 광주과학기술원 | 영상의 스테레오 정합 방법 및 장치 |
| US20140009462A1 (en) * | 2012-04-17 | 2014-01-09 | 3Dmedia Corporation | Systems and methods for improving overall quality of three-dimensional content by altering parallax budget or compensating for moving objects |
| US9582722B2 (en) * | 2012-08-31 | 2017-02-28 | Xerox Corporation | Video-based vehicle speed estimation from motion vectors in video streams |
| US9237263B2 (en) | 2012-10-05 | 2016-01-12 | Vidinoti Sa | Annotation method and apparatus |
| CN105074726A (zh) * | 2013-02-26 | 2015-11-18 | A2Z罗基克斯公司 | 图像序列中的物体遮挡的确定 |
| KR101372843B1 (ko) | 2014-02-04 | 2014-03-14 | (주)나인정보시스템 | 스테레오 기법을 이용한 교차로 꼬리물기 차량 자동 단속 시스템 및 그 방법 |
| US9407896B2 (en) * | 2014-03-24 | 2016-08-02 | Hong Kong Applied Science and Technology Research Institute Company, Limited | Multi-view synthesis in real-time with fallback to 2D from 3D to reduce flicker in low or unstable stereo-matching image regions |
| KR102214934B1 (ko) * | 2014-07-18 | 2021-02-10 | 삼성전자주식회사 | 단항 신뢰도 및 쌍별 신뢰도 학습을 통한 스테레오 매칭 장치 및 방법 |
| KR102350232B1 (ko) * | 2014-11-20 | 2022-01-13 | 삼성전자주식회사 | 스테레오 영상 매칭 방법 및 장치 |
-
2014
- 2014-07-18 KR KR1020140091042A patent/KR102214934B1/ko active IP Right Grant
- 2014-12-23 US US14/580,895 patent/US9916667B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| US9916667B2 (en) | 2018-03-13 |
| US20160019437A1 (en) | 2016-01-21 |
| KR20160010120A (ko) | 2016-01-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102214934B1 (ko) | 단항 신뢰도 및 쌍별 신뢰도 학습을 통한 스테레오 매칭 장치 및 방법 | |
| US8855408B2 (en) | Method and apparatus for recovering depth information of image | |
| CN109829875B (zh) | 用于估计视差的方法和装置 | |
| US20190213481A1 (en) | Predicting depth from image data using a statistical model | |
| JP6496987B2 (ja) | 目標検出方法及び目標検出装置 | |
| US8565512B2 (en) | Method, medium, and system generating depth map of video image | |
| US9070042B2 (en) | Image processing apparatus, image processing method, and program thereof | |
| KR101776620B1 (ko) | 검색 기반 상관 매칭을 이용하여 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법 | |
| US10853960B2 (en) | Stereo matching method and apparatus | |
| KR100888081B1 (ko) | 2차원 영상 신호의 3차원 영상 신호로의 변환 절차 및 변환장치 | |
| US9747690B2 (en) | Image processing device, image processing method, and program | |
| WO2008020598A1 (fr) | Dispositif et procédé de détection d'un nombre d'objets | |
| CN105096307A (zh) | 在成对的立体图像中检测物体的方法 | |
| JP6620443B2 (ja) | 監視プログラム、監視装置、及び監視方法 | |
| US20190304114A1 (en) | Information processing apparatus, information processing method, and storage medium | |
| KR101784620B1 (ko) | 스테레오 매칭을 통한 깊이값의 신뢰도 측정 방법 및 장치 | |
| EP4013049A1 (en) | Apparatus and method for processing a depth map | |
| JP2015033047A (ja) | 複数カメラを用いた奥行き推定装置 | |
| KR102240570B1 (ko) | 신장 트리 생성 방법 및 장치，스테레오 매칭 방법 및 장치，업 샘플링 방법 및 장치，및 기준 픽셀 생성 방법 및 장치 | |
| San et al. | Stereo matching algorithm by hill-climbing segmentation | |
| KR20180082739A (ko) | 단일 카메라를 이용한 영상에서 움직이는 객체 검출 방법 및 시스템 | |
| US20170309028A1 (en) | Image processing apparatus, image processing method, and program | |
| KR101717381B1 (ko) | 스테레오 카메라 기반의 주행 가능 영역 추정 장치 및 방법과 이에 관한 기록매체 | |
| Turetken et al. | Temporally consistent layer depth ordering via pixel voting for pseudo 3D representation | |
| US20220230342A1 (en) | Information processing apparatus that estimates object depth, method therefor, and storage medium holding program therefor |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |