KR102171203B1 - 스테레오 영상의 정합 방법 및 이를 수행하는 장치 - Google Patents
스테레오 영상의 정합 방법 및 이를 수행하는 장치 Download PDFInfo
- Publication number
- KR102171203B1 KR102171203B1 KR1020180173839A KR20180173839A KR102171203B1 KR 102171203 B1 KR102171203 B1 KR 102171203B1 KR 1020180173839 A KR1020180173839 A KR 1020180173839A KR 20180173839 A KR20180173839 A KR 20180173839A KR 102171203 B1 KR102171203 B1 KR 102171203B1
- Authority
- KR
- South Korea
- Prior art keywords
- matching
- low
- stereo image
- image
- region
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 95
- 238000004458 analytical method Methods 0.000 claims abstract description 14
- 238000001514 detection method Methods 0.000 claims description 15
- 238000005259 measurement Methods 0.000 claims description 3
- 230000008859 change Effects 0.000 description 11
- 230000008569 process Effects 0.000 description 5
- 230000008901 benefit Effects 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 238000001228 spectrum Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 101150048357 Lamp1 gene Proteins 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000005315 distribution function Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/156—Mixing image signals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
본 발명은 스테레오 영상 정합 방법 및 이의 장치에 관한 것이다. 본 발명의 일실시예에 따르면, 현재 영상을 수직 및 수평 방향으로 미분하는 단계; 상기 미분된 영상을 푸리에 변환을 이용하여 주파수 분석하는 단계; 상기 주파수 분석을 통해 특정 주파수의 에너지를 측정하는 단계; 상기 에너지에 기초하여 저-질감 영역을 감지하는 단계; 및 상기 감지된 저-질감 영역에 대하여 특성 지시자에 기반한 스테레오 영상을 정합하는 단계를 포함한다.
Description
본 발명은 스테레오 영상의 정합 방법 및 이를 수행하는 장치에 관한 것으로서, 더욱 상세하게는, 저-질감 영역에서의 스테레오 영상의 정합 방법 및 이를 수행하는 장치에 관한 것이다.
스테레오 영상의 정합을 통한 입체 영상의 3D 복원은 가상현실 콘텐츠, 자율주행차의 장애물 감지, 로봇 네비게이션, 동작 인식 등을 위하여 이용될 수 있다. 스테레오 영상의 정합은 각 영상 사이의 시차를 추정함으로써 수행될 수 있으며, 영상의 픽셀값과 함께 시차는 깊이 정보를 결정하기 위하여 추정될 수 있다. 입체 영상의 시차 추정을 위한 두 가지 방법은 글로벌 정합법 및 로컬 정합법이 존재한다.
로컬 정합법은 영상 중 영역 윈도우에 의해 제한된 영역을 위한 정합 코스트를 계산하고, 시차를 추정하기 위하여 스테레오 영상 두 개 사이의 유사도를 산출한다. 상기 방법은 초기 매칭 코스트(matching cost)를 획득하기 위해 각 픽셀의 매칭 코스트를 계산한다. 일반적으로 로컬 정합법의 초기 매칭 코스트의 연산 방법은 절대 차이값(SAD)의 합과 차이값의 제곱(SSD)의 합, 및 정규화된 상호 연관도(NCC)를 포함한다. 그러나, 이러한 필터들은 저역 필터에 의한 흐릿한 형체(blur)가 발생하는 단점이 존재한다. 그러므로, 로버스트 상호 정보(Robust Mutual Information) 및 컨센스 컨버젼(census conversion)은 영역 기반 방법에서 오브젝트의 경계와 가까운 바깥 영역을 위하여 이용될 수 있다. 상기 로버스트 상호 정보를 이용하는 방법은 유사도를 추정하기 위해 확률 분배 함수를 이용하고, 상기 컨센스 컨버젼을 이용하는 방법은 캐릭터 문자열로부터 윈도우 내의 픽셀을 부호화하고 유사도를 계산하기 위해 해밍(hamming) 거리를 비교할 수 있다.
또한, 글로벌 정합법은 전체적인 시차 오류를 최소화하면서 시차 추정을 위한 전체 영상의 시차를 반복적으로 산출한다. 상기 글로벌 정합법은 초기 매칭 코스트 연산을 통하여 초기 시차 맵을 생성할 수 있다. 이후, 상기 방법은 전체적인 영상의 매칭 코스트를 위하여 에너지 함수를 연산하고, 최소 에너지를 획득하기 위해 시차를 추정하는 과정을 반복함으로써 시차 정보를 획득할 수 있다.
상기 로컬 정합법의 시차 추정 정확도는 구분이 모호하고 동질성이 강한 픽셀값들 때문에 저-질감 영역에서 급격히 감소된다. 상기 글로벌 매칭법은 전체 영상의 특성을 고려하기 때문에 상대적으로 정확하다. 세미-글로벌 매칭법(SGM)은 매칭 방향을 한정할 수 있고, 연산량을 감소시킬 수 있다. 그러나, 저-질감 영역에서의 성능 향상은 한계가 존재한다. 또한, 픽셀값들의 동질성이 강하고 구분이 모호한 저-질감 영상을 위한 3D 깊이 정보 추정의 정확도는 높지 아니하다. 깊이 정보 추정에서의 오류들은 어플리케이션 고장의 원인이 될 수 있으며, 이들은 심각한 부작용을 야기할 수도 있다. 그러므로, 저-질감 영역에서도 높은 정확도를 갖는 스테레오 영상의 시차 추정 방법을 개발하는 것이 중요하다.
본 발명이 이루고자 하는 기술적 과제는, 저-질감 영역에서도 높은 정확도를 가지면서 시차 추정에 적은 연산량을 요구하는 스테레오 영상의 정합 방법을 제공하는 것이다.
본 발명의 다른 실시예에 따르면, 상기 이점을 갖는 스테레오 영상의 정합 장치를 제공하는 것이다.
본 발명의 일실시예에 따른 스테레오 영상의 정합 방법은, 현재 영상을 수직 및 수평 방향으로 미분하는 단계; 상기 미분된 영상을 푸리에 변환을 이용하여 주파수 분석하는 단계; 상기 주파수 분석을 통해 특정 주파수의 에너지를 측정하는 단계; 상기 에너지에 기초하여 저-질감 영역을 감지하는 단계; 및 상기 감지된 저-질감 영역에 대하여 특성 지시자에 기반한 스테레오 영상을 정합하는 단계를 포함한다.
일 실시예에서는, 상기 저-질감 영역은 상기 에너지가 소정의 값 이하인 경우에 감지될 수 있고, 상기 특성 지시자는 SIFT(Scale-Invariant Feature Transform)일 수 있다.
또한, 상기 스테레오 영상을 정합하는 단계는, 상기 특성 지시자들에 의해 정의되는 특성 포인트를 더 이용할 수 있으며, 상기 스테레오 영상을 정합하는 단계는, 참조 영상 및 타겟 영상에서의 등극선 라인 상의 상기 특성 포인트들을 이용하여 상기 참조 영상 및 상기 타겟 영상을 매칭시킬 수 있다.
일 실시예에서, 상기 감지된 저-질감 영역 이외의 영역에서는 세미-전체적 매칭(SGM) 방법을 이용하여 상기 스테레오 영상을 정합하는 단계를 더 포함할 수 있다.
본 발명의 다른 실시예에 따른 스테레오 영상의 정합 장치는, 현재 영상을 수직 및 수평 방향으로 미분하고, 상기 미분된 영상을 푸리에 변환을 이용하여 주파수 분석하는 주파수 분석부; 상기 주파수 분석을 통해 특정 주파수의 에너지를 측정하는 에너지 측정부; 상기 에너지에 기초하여 저-질감 영역을 감지하는 저-질감 영역 감지부; 및 상기 감지된 저-질감 영역에 대하여 특성 지시자에 기반한 스테레오 영상을 정합하는 저-질감 영역 스테레오 영상 정합 수행부를 포함할 수 있다.
일 실시예에서, 상기 저-질감 영역은 상기 에너지가 소정의 값 이하인 경우에 감지될 수 있고, 상기 특성 지시자는 SIFT(Scale-Invariant Feature Transform)인 수 있다.
일 실시예에서, 상기 저-질감 영역 스테레오 영상 정합 수행부는, 상기 특성 지시자들에 의해 정의되는 특성 포인트를 더 이용할 수 있고, 상기 저-질감 영역 스테레오 영상 정합 수행부는, 참조 영상 및 타겟 영상에서의 등극선 라인 상의 상기 특성 포인트들을 이용하여 상기 참조 영상 및 상기 타겟 영상을 매칭시킬 수 있다.
상기 감지된 저-질감 영역 이외의 영역에서는 세미-전체적 매칭(SGM) 방법을 이용하여 상기 스테레오 영상을 정합하는 고-질감 영역 스테레오 영상 정합 수행부를 더 포함할 수 있다.
본 발명의 실시예에 따르면, 현재 영상 중 저-질감 영역을 감지하고, 상기 저-질감 영역에 최적화된 스테레오 영상의 정합 방법을 적용하여 연산량을 감소시키고 정확하게 스테레오 영상의 시차를 추정함으로써, 3D 영상을 복원시킬 수 있는 스테레오 영상의 정합 방법을 제공하는 것이다.
본 발명의 다른 실시예에 따르면, 상기 이점을 갖는 스테레오 영상의 정합 장치를 제공하는 것이다.
도 1은 본 발명의 일 실시예에 따른 스테레오 영상의 정합 장치의 구성 도시한 것이다.
도 2는 본 발명의 일 실시예에 따른 스테레오 영상의 정합 방법을 나타내는 순서도이다.
도 3은 본 발명의 일 실시예에서 따른 스테레오 영상의 미분 영상에서 특정 영역의 파워 스펙트럼을 나타내는 것이다.
도 4는 본 발명의 일 실시예에 따라 특정 에너지 및 문턱값 하에서 저-질감 영역의 감지 정확도의 변화를 나타내는 그래프이다.
도 5는 본 발명의 일 실시예에 따른 스테레오 영상의 정합 방법을 나타내는 예시이다.
도 6은 본 발명의 일 실시예에 따른 스테레오 영상의 정합 방법으로 시차를 추정한 후, 저-질감 영역에서의 시차 추정의 에러율을 측정한 그래프이다.
도 7a 내지 도 7e는 상기 방법에 의한 스테레오 영상의 정합을 나타내는 이미지이다.
도 8은 본 발명의 일 실시예 및 현존하는 시차 추정 방법을 이용하여 저-질감 영역을 감지한 감지 정확도를 나타낸 그래프이다.
도 9는 현존하는 SGM 방법, ELAS(efficient large-scale stereo) 방법, 및 본 발명의 일 실시예에 따른 전체 영상의 시차를 추정하고 이들의 에러율을 나타낸 그래프이다.
도 2는 본 발명의 일 실시예에 따른 스테레오 영상의 정합 방법을 나타내는 순서도이다.
도 3은 본 발명의 일 실시예에서 따른 스테레오 영상의 미분 영상에서 특정 영역의 파워 스펙트럼을 나타내는 것이다.
도 4는 본 발명의 일 실시예에 따라 특정 에너지 및 문턱값 하에서 저-질감 영역의 감지 정확도의 변화를 나타내는 그래프이다.
도 5는 본 발명의 일 실시예에 따른 스테레오 영상의 정합 방법을 나타내는 예시이다.
도 6은 본 발명의 일 실시예에 따른 스테레오 영상의 정합 방법으로 시차를 추정한 후, 저-질감 영역에서의 시차 추정의 에러율을 측정한 그래프이다.
도 7a 내지 도 7e는 상기 방법에 의한 스테레오 영상의 정합을 나타내는 이미지이다.
도 8은 본 발명의 일 실시예 및 현존하는 시차 추정 방법을 이용하여 저-질감 영역을 감지한 감지 정확도를 나타낸 그래프이다.
도 9는 현존하는 SGM 방법, ELAS(efficient large-scale stereo) 방법, 및 본 발명의 일 실시예에 따른 전체 영상의 시차를 추정하고 이들의 에러율을 나타낸 그래프이다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명하기로 한다.
본 발명의 실시예들은 당해 기술 분야에서 통상의 지식을 가진 자에게 본 발명을 더욱 완전하게 설명하기 위하여 제공되는 것이며, 하기 실시예는 여러 가지 다른 형태로 변형될 수 있으며, 본 발명의 범위가 하기 실시예에 한정되는 것은 아니다. 오히려, 이들 실시예는 본 개시를 더욱 충실하고 완전하게 하고, 당업자에게 본 발명의 사상을 완전하게 전달하기 위하여 제공되는 것이다.
도면에서 동일 부호는 동일한 요소를 지칭한다. 또한, 본 명세서에서 사용된 바와 같이, 용어 "및/또는"은 해당 열거된 항목 중 어느 하나 및 하나 이상의 모든 조합을 포함한다.
본 명세서에서 사용된 용어는 실시예를 설명하기 위하여 사용되며, 본 발명의 범위를 제한하기 위한 것이 아니다. 또한, 본 명세서에서 단수로 기재되어 있다 하더라도, 문맥상 단수를 분명히 지적하는 것이 아니라면, 복수의 형태를 포함할 수 있다. 또한, 본 명세서에서 사용되는 "포함한다(comprise)" 및/또는 "포함하는(comprising)"이란 용어는 언급한 형상들, 숫자, 단계, 동작, 부재, 요소 및/또는 이들 그룹의 존재를 특정하는 것이며, 다른 형상, 숫자, 동작, 부재, 요소 및/또는 그룹들의 존재 또는 부가를 배제하는 것이 아니다.
이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 실시예들을 설명함에 있어 관련된 공지 기능 또는 구성에 관한 구체적인 설명이 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는, 그에 관한 상세한 설명은 생략할 것이다.
스테레오 영상의 정합은 참조 영상과 타겟 영상이 동일 위치일 때 3D 깊이 정보를 계산하기 위하여 시차를 추정하는 방법이다. 그러나, 이러한 방법은 영상에서의 폐쇄, 잡음, 다른 조도 레벨과 같은 다양한 문제로부터 기인하는 복잡하고 어려운 프로세스이다. 더 정확한 매칭 결과를 획득하기 위해서는, 등극선(epipolar) 제한, 불균일 제한, 유사도 제한 등과 같은 제한 조건이 요구된다.
정확도를 높이면서 가능한 빠르게 시차를 추정하기 위하여, 특성 지시자에 기초하는 매칭 코스트(matching cost) 함수를 이용하는 방법이 있다. 저-질감 영역들은 변수, 픽셀값 변화, 구배(gradient), 에너지, 엔트로피, 또는 윈도우 내의 최저 꼬임선 마스크(low's convolution mask)를 추정함으로써 발견될 수 있다. 저-질감 영역을 감지하기 위한 다름 방법으로는 랜덤 샘플 컨센서스(RANSAN)을 이용하여 픽셀값들의 변화 및 구배에 기초해 영역을 나눌 수 있다. 이러한 방법은 적은 양의 연산으로도 정확한 감지를 수행할 수 있다. 그러나, RANSAC 알고리즘의 평면 대응 과정에서 불균일한 형상이 만들어질 수 있다.
본 발명의 일 실시예에 따른 스테레오 영상의 정합 방법은 저-질감 영역을 위한 특성 지시자에 기초한 스테레오 영상의 정합 방법과 상기 저-질감 영역 이외의 영역을 위한 SGM(Semi-global Matching) 방법을 결합한 하이브리드 추정 알고리즘을 제공할 수 있다. 본 발명의 알고리즘은 계층적인 주파수 분석을 통한 윈도우 내의 특정 주파수 범위에서의 에너지에 기초하여 저-질감 영역을 감지하는 방법을 포함한다. 상기 방법은 SIFT(Scale-invariant feature transform) 지시자와 함께 결합하여 사용될 때, 저-질감 영역에서의 시차를 정확하게 추정할 수 있다.
도 1은 본 발명의 일 실시예에 따른 스테레오 영상의 정합 장치의 구성 도시한 것이고, 도 2는 본 발명의 일 실시예에 따른 스테레오 영상의 정합 방법을 나타내는 순서도이다.
도 1 및 도 2를 함께 참조하면, 스테레오 영상의 정합 장치는 주파수 분석부(100), 에너지 측정부(200), 저-질감 영역 감지부(300), 저-질감 영역 스테레오 영상 정합 수행부(400), 및 고-질감 영역 스테레오 영상 정합 수행부(500)를 포함한다.
주파수 분석부(100)는 현재 영상을 입력 받아, 이를 수평 방향 및 수직 방향으로 미분하여 분할할 수 있다. 상기 분할된 현재 영상은 푸리에 변환을 이용하여 주파수 분석을 수행할 수 있다(S10). 상기 주파수 분석은 저-질감 영역 및 고-질감 영역을 포함하는 상기 현재 영상 전체에 대하여 수행될 수 있다.
픽셀값 변화에 대한 주파수 분석을 수행하기 위하여, 픽셀값 변화(I'(x,y))는 하기 수학식 1을 통해 획득될 수 있다.
미분된 영상은 상기 수학식 1을 통해 현재 위치(x,y)의 주변 픽셀의 수평 및 수직 방향에 대한 미분계수의 합으로 획득될 수 있다. 상기 저-질감 영역의 특성들을 분석하기 위해, 상기 미분된 영상(I'(x,y))에 대하여 고속 푸리에 변환을 수행함으로써, 주파수 분석을 수행할 수 있다.
도 3은 본 발명의 일 실시예에서 따른 스테레오 영상의 미분 영상에서 특정 영역의 파워 스펙트럼을 나타내는 것이다. 도 3을 참조하면, 저-질감 영역 및 고-질감 영역에서의 주파수에 따른 파워 스펙트럼의 크기가 다름을 확인할 수 있으며, 양 영역 모두 주파수 범위 ω∈[-0.3, 0.3] 에서 큰 변화를 보임을 알 수 있다.
이후, 에너지 측정부(200)는 상기 주파수 분석 결과에 기초하여 특정 주파수 범위에서의 에너지를 측정할 수 있다(S20). 상기 특정 주파수 범위는 [-3.0, 3.0] 일 수 있으며, 바람직하게는 [-0.3, 0.3] 일 수 있다. 상기 범위에서의 에너지는 하기 수학식 2를 통해 산출될 수 있다.
그러나, 스테레오 카메라의 채도 또는 앵글에 기인한 오브젝트의 강도(Intensity) 변화 때문에 비선형적인 강도의 변화가 발생할 수 있다. 이러한 변화의 영향을 감소시키기 위해, 본 발명은 상기 수학식 2를 통해 산출된 에너지에 대하여 [0,1]의 갖는 단위 벡터를 생성하는 정규화 프로세스를 하기 수학식 3과 같이 수행할 수 있다.
일 실시예에서는, 영역의 경계로부터 발생하는 노이즈에 의하여 경계 주변에 위치하는 저-질감 영역은 잘 감지되지 아니하는 문제점이 존재할 수 있다. 그러므로, 지역 최소 필터(local minimum filter)를 경계 주변에 위치하는 영역에 상기 영역의 에너지를 낮추기 위하여 이용할 수 있다. 이 경우, 경계 주변에 위치하는 저-질감 영역은 보다 정확하게 감지될 수 있다.
이후, 저-질감 영역 감지부(300)에서는 상기 방법에 의하여 측정된 에너지에 기초하여 현재 영상에서의 저-질감 영역을 감지할 수 있다(S30). 저-질감 영역 감지부(300)는 상기 에너지가 문턱값보다 작은 경우 하기 수학식 4와 같이 현재 영상의 영역을 저-질감 영역(low-textured region)으로 판단할 수 있다.
보다 정확하게 저-질감 영역을 감지하기 위하여 계층적인 방법을 이용할 수 있으며, 계층적인 방법은 작은 크기의 윈도우(Ws)를 이용하여 에너지를 연산하기 위하여 이용될 수 있다. 로컬 에너지는 상기 작은 크기의 윈도우를 이용하여 연산될 수 있다. 일 실시예에서, 저-질감 영역(L(x,y)의 주변에 위치하는 영역들과 작고 분리된 영역들을 제거함으로써 보다 정확한 감지 결과를 획득할 수 있고, 상기 저-질감 영역은 문턱값(T) 이하의 측정값을 나타낸다. 상기 문턱값은 저-질감 영역의 에너지(α) 및 윈도우 크기(Ws)에 의하여 결정될 수 있다.
도 4는 본 발명의 일 실시예에 따라 측정된 에너지 별 저-질감 영역의 감지 정확도를 나타내는 그래프이다. 도 4를 참조하면, Lamp1 영상을 제외하고는 에너지에 따른 감지 정확도의 변화가 크지 않음을 확인할 수 있었다. 하기 실험예에서는 α=0.2 로 설정하여 실험을 수행하였다.
저-질감 영역 스테레오 영상 정합 수행부(400)는 현재 영상의 영역이 저-질감 영역인 경우에는(S30의 Y) 특성 지시자들을 기반으로 스테레오 영상의 정합을 수행할 수 있다(S40). 상기 특성 지시자들은 SIFT(Scale-Invariant Feature Transform), SURF(Speed up Robust Feature), BRIEF(Binary Robust Independent Elementary Features), 및 ORB(Oriented FAST and Rotated BRIEF)를 포함할 수 있다. 상기 특성 지시자들은 영상의 한 지점에서 중심의 화소와 주변의 화소들이 가지고 있는 화소값들의 변화에 대하여 공간적, 주파수적 특징들을 계수화하여 자체적인 특정한 형식으로 기록하는 형태의 특성을 갖는 것이면 상기 예시의 특성 지시자들이 아니더라도 무방하다. 일 실시예에서, 상기 특성 지시자들을 이용하는 시차 추정에 있어서, 오직 특성 포인트로서 인식된 포인트들만이 영상에 묘사될 수 있고, 스트레오 영상의 정합을 위하여 사용될 수 있다. 이러한 포인트들은 드문드문 존재하기 때문에, 스트레어 영상을 위한 치밀한(dense) 시차 추정은 어려울 수 있다.
그러나, 전체 영상의 픽셀을 위한 특성은 설명될 수 있고, 도 5에 나타낸 바와 같이, 본 발명의 일 실시예에 따른 스테레오 영상의 정합 방법은 참조 영상의 특성 포인트들과 같이, 타겟 영상에서의 등극선(epipolar lines) 상의 특성 포인트들은 제 1 최접 이웃 방법을 통하여 치밀하게 정합될 수 있다. SGM 방법과 달리, 본 발명의 스테레오 영상의 정합 방법은 여러가지 방향에서의 매칭 코스트를 연산하기 위해 정규화 과정을 수행하지 않기 때문에, 연산량이 크게 증가하지 아니하는 장점이 있다.
도 6은 본 발명의 일 실시예에 따른 스테레오 영상의 정합 방법으로 시차를 추정한 후, 저-질감 영역에서의 시차 추정의 에러율을 측정한 그래프이다.
도 6을 참조하면, 본 발명의 시차 추정 방법에서는 저-질감 영역에서 최고의 시차 추정의 정확도를 제공하기 위하여 SIFT 특성 지시자들을 이용하고, 최종 시차 추정을 수행하기 위하여는 SGM 방법을 이용할 수 있다. 최종 시차인 D 를 추정하기 위해, 저-질감 영역에서의 SIFT 특성 지시자는 하기 수학식 5와 같이 이용될 수 있다. 또한, 고-질감 영역 스테레오 영상 정합 수행부(450)에서는 글로벌 매칭법(SGM) 방법을 이용하여 스테레오 영상의 정합을 수행할 수 있다(S50).
도 6에서 나타낸 바와 같이, 동일한 영상을 다양한 방법으로 정합하여 RMAE(평균 제곱근 편차)를 측정한 결과 저-질감 영역에 대하여 본 발명의 일 실시예에 따라 SIFT 특성 지시자를 이용하는 경우가 가장 작은 RMAE 값을 갖는 것을 확인할 수 있다.
도 7a 내지 도 7e는 상기 방법에 의한 스테레오 영상의 정합을 나타내는 이미지이다. 도 7a는 실험에 사용된 입력 영상들이고, 도 7b는 도 7a 영상의 저-질감 그라운드 진실(ground truth) 영상을 나타내며, 도 7c는 본 발명의 일 실시예에 따른 저-질감 영역 감지 방법으로 획득된 영상을 나타낸다. 도 7d는 시차 그라운드 진실 영상이며, 도 7e는 SGM 및 SIFT 를 결합한 본 발명의 일 실시예에 따른 정합 방법으로 획득된 결과 영상을 나타낸다.
일 실시예에서 미들버리(Middlebury) 스테레오 데이터셋을 이용하여 실험을 수행하여 본 발명의 스테레오 영상의 정합 방법의 성능을 측정하였다. 상기 데이터셋은 스테레오 비젼에 널리 이용되는 것이다. 저-질감 영역 감지 정확도를 측정하기 위하여 저-질감 영역과 같이 픽셀값 변화가 적은 영역에 대한 정의가 필요하고, 상기 영역에 대하여 그라운드 진실 영상을 생성하였다. 또한, 저-질감 영역 감지의 정확도를 측정하기 위한 인덱스로서 F 값(정밀도 및 리콜의 조화 평균, the harmonic average of recall and precision)을 하기 수학식 6과 같이 측정하였다.
도 8은 본 발명의 일 실시예 및 현존하는 시차 추정 방법을 이용하여 저-질감 영역을 감지한 감지 정확도를 나타낸 그래프이며, [8]은 "Stereo matching-based low-textured scene reconstruction for alv navigation," in Image Analysis and Signal Processing(IASP), 2011 International Conference on.IEEE,pp.204-209,2011에 수록된 시차 추정 방법으로 저-질감 영역을 감지한 감지 정확도를 나타내며, [28]은 "Local stereo matching using adaptive local segmentation,", ISRN Machine Vision, vol.2012, 2012.에 수록된 시차 추정 방법으로 저-질감 영역을 감지한 정확도를 나타낸다.
도 8을 참조하면, 본 발명의 일 실시예에 따른 방법은 현존하는 알고리즘들보다 저-질감 영역에서 80% 이상의 향상된 정확도를 보여줌을 확인할 수 있다. 그러나, 저-질감 영역이 윈도우 내에 존재한다 하더라도 고주파 성분을 함께 갖기 때문에, 본 발명의 일 실시예에 따른 방법은 윈도우 크기보다 적인 저-질감 영역은 감지할 수 없는 문제점을 갖는다. 따라서, 일부 영상에서는 본 발명의 일 실시예에 따른 방법은 낮은 정확도를 보일 수 있다.
또한, 시차 추정의 정확도를 확인하기 위하여, 각 픽셀의 그라운드 진실(ground truth)를 비교하고, RMAE(평균 제곱근 오차)를 추정하여 도 9 및 표 1에 나타내었다. 도 9는 현존하는 SGM 방법, ELAS(efficient large-scale stereo) 방법, 및 본 발명의 일 실시예에 따른 전체 영상의 시차를 추정하고 이들의 에러율을 나타낸 그래프이고, 표 1은 본 발명의 일 실시예에 따른 방법이 적용되는 영상의 저-질감 영역의 비율 및 추정된 시차의 에러 감소율을 나타낸 것이다.
도 9 및 표 1을 참조하면, 일부 영상에서는 저-질감 영역의 비율이 높을수록 에러 감소율도 증가하는 것을 확인할 수 있고, SGM 방법 및 ELAS 방법을 이용하는 경우에 비하여 다양한 영상에서 에러율이 낮은 편임을 알 수 있다. 특히, 저-질감 영역의 비율에 비례하여 성능이 증가함을 알 수 있다. 본 발명의 일 실시예에 따른 스테레오 영상의 정합 방법은, 다른 시차 추정 및 스테레오 영상의 정합 방법에 비하여 저-질감 영역을 위한 높은 추정 정확도를 갖는다. 또한, 영상에 따라 80% 이상의 저-질감 영역 감지 정확도를 보여준다.
이상에서 설명한 본 발명이 전술한 실시예 및 첨부된 도면에 한정되지 않으며, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러가지 치환, 변형 및 변경이 가능하다는 것은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어 명백할 것이다.
Claims (12)
- 현재 영상을 수직 및 수평 방향으로 미분하는 단계;
상기 미분된 영상을 푸리에 변환을 이용하여 주파수 분석하는 단계;
상기 주파수 분석을 통해 특정 주파수의 에너지를 측정하는 단계;
상기 에너지에 기초하여 저-질감 영역을 감지하는 단계; 및
상기 감지된 저-질감 영역에 대하여 특성 지시자에 기반한 스테레오 영상을 정합하는 단계; 를 포함하는 스테레오 영상 정합 방법. - 제 1 항에 있어서,
상기 저-질감 영역은 상기 에너지가 소정의 값 이하인 경우에 감지되는 스테레오 영상 정합 방법. - 제 1 항에 있어서,
상기 특성 지시자는 SIFT(Scale-Invariant Feature Transform)인 것인 스테레오 영상 정합 방법. - 제 1 항에 있어서,
상기 스테레오 영상을 정합하는 단계는, 상기 특성 지시자들에 의해 정의되는 특성 포인트를 더 이용하는 스테레오 영상 정합 방법. - 제 1 항에 있어서,
상기 스테레오 영상을 정합하는 단계는, 참조 영상 및 타겟 영상에서의 등극선 라인 상의 특성 포인트들을 이용하여 상기 참조 영상 및 상기 타겟 영상을 매칭시키는 것인 스테레오 영상 정합 방법. - 제 1 항에 있어서,
상기 감지된 저-질감 영역 이외의 영역에서는 세미-전체적 매칭(SGM) 방법을 이용하여 상기 스테레오 영상을 정합하는 단계를 더 포함하는 스테레오 영상 정합 방법. - 현재 영상을 수직 및 수평 방향으로 미분하고, 상기 미분된 영상을 푸리에 변환을 이용하여 주파수 분석하는 주파수 분석부;
상기 주파수 분석을 통해 특정 주파수의 에너지를 측정하는 에너지 측정부;
상기 에너지에 기초하여 저-질감 영역을 감지하는 저-질감 영역 감지부; 및
상기 감지된 저-질감 영역에 대하여 특성 지시자에 기반한 스테레오 영상을 정합하는 저-질감 영역 스테레오 영상 정합 수행부를 포함하는 스테레오 영상 정합 장치. - 제 7 항에 있어서,
상기 저-질감 영역은 상기 에너지가 소정의 값 이하인 경우에 감지되는 스테레오 영상 정합 장치. - 제 7 항에 있어서,
상기 특성 지시자는 SIFT(Scale-Invariant Feature Transform)인 것인 스테레오 영상 정합 장치. - 제 7 항에 있어서,
상기 저-질감 영역 스테레오 영상 정합 수행부는, 상기 특성 지시자들에 의해 정의되는 특성 포인트를 더 이용하는 스테레오 영상 정합 장치. - 제 7 항에 있어서,
상기 저-질감 영역 스테레오 영상 정합 수행부는, 참조 영상 및 타겟 영상에서의 등극선 라인 상의 특성 포인트들을 이용하여 상기 참조 영상 및 상기 타겟 영상을 매칭시키는 것인 스테레오 영상 정합 장치. - 제 7 항에 있어서,
상기 감지된 저-질감 영역 이외의 영역에서는 세미-전체적 매칭(SGM) 방법을 이용하여 상기 스테레오 영상을 정합하는 고-질감 영역 스테레오 영상 정합 수행부를 더 포함하는 스테레오 영상 정합 장치.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180173839A KR102171203B1 (ko) | 2018-12-31 | 2018-12-31 | 스테레오 영상의 정합 방법 및 이를 수행하는 장치 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180173839A KR102171203B1 (ko) | 2018-12-31 | 2018-12-31 | 스테레오 영상의 정합 방법 및 이를 수행하는 장치 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20200082854A KR20200082854A (ko) | 2020-07-08 |
| KR102171203B1 true KR102171203B1 (ko) | 2020-10-28 |
Family
ID=71601339
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020180173839A KR102171203B1 (ko) | 2018-12-31 | 2018-12-31 | 스테레오 영상의 정합 방법 및 이를 수행하는 장치 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102171203B1 (ko) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102654176B1 (ko) * | 2022-01-10 | 2024-04-04 | 울산과학기술원 | 기계 학습 모델을 이용하여 시각 기반 촉감 출력을 위한 컴퓨터 장치 및 그의 방법 |
| CN116721109B (zh) * | 2023-08-11 | 2023-11-03 | 合肥图迅电子科技有限公司 | 一种双目视觉图像半全局匹配方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102718581B1 (ko) * | 2017-01-26 | 2024-10-17 | 삼성전자주식회사 | 스테레오 매칭 방법 및 장치 |
-
2018
- 2018-12-31 KR KR1020180173839A patent/KR102171203B1/ko active IP Right Grant
Non-Patent Citations (1)
| Title |
|---|
| 논문1* |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20200082854A (ko) | 2020-07-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109903327B (zh) | 一种稀疏点云的目标物尺寸测量方法 | |
| CN103814306B (zh) | 深度测量质量增强 | |
| US8385630B2 (en) | System and method of processing stereo images | |
| JP6471448B2 (ja) | 視差深度画像のノイズ識別方法及びノイズ識別装置 | |
| EP3695384A1 (en) | Point cloud meshing method, apparatus, device and computer storage media | |
| US10853960B2 (en) | Stereo matching method and apparatus | |
| CN110223377A (zh) | 一种基于立体视觉系统高精度的三维重建方法 | |
| JP2016508652A (ja) | 画像シーケンスにおける物体のオクルージョンの決定 | |
| Duan et al. | Multifocus image fusion with enhanced linear spectral clustering and fast depth map estimation | |
| Hamzah et al. | Stereo matching algorithm for 3D surface reconstruction based on triangulation principle | |
| CN104268880A (zh) | 基于特征和区域匹配相结合的深度信息获取方法 | |
| KR102171203B1 (ko) | 스테레오 영상의 정합 방법 및 이를 수행하는 장치 | |
| CN113971669A (zh) | 应用于管道损伤识别的三维检测系统 | |
| CN113205553A (zh) | 一种基于三通道特征融合的光条纹中心提取方法 | |
| CN105138979A (zh) | 基于立体视觉的运动人体头部检测方法 | |
| Hu et al. | A new method and implementation of blind restoration algorithm for moving fuzzy license plate image based on frequency-domain characteristics | |
| Hamzah et al. | Development of stereo matching algorithm based on sum of absolute RGB color differences and gradient matching | |
| Shabanian et al. | A new hybrid stereo disparity estimation algorithm with guided image filtering-based cost aggregation | |
| Kadmin et al. | Improved stereo matching algorithm based on census transform and dynamic histogram cost computation | |
| Zhang et al. | Local stereo disparity estimation with novel cost aggregation for sub-pixel accuracy improvement in automotive applications | |
| Kovacs et al. | Edge detection in discretized range images | |
| KR101454692B1 (ko) | 객체 추적장치 및 그 방법 | |
| Kadmin et al. | Improvement of disparity measurement of stereo vision algorithm using modified dynamic cost volume | |
| CN105957050B (zh) | 分割图像的方法及装置 | |
| Pramote et al. | Improve accuracy of disparity map for stereo images using SIFT and weighted color model |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PA0109 | Patent application |
Patent event code: PA01091R01D Comment text: Patent Application Patent event date: 20181231 |
|
| PA0201 | Request for examination | ||
| PE0902 | Notice of grounds for rejection |
Comment text: Notification of reason for refusal Patent event date: 20200309 Patent event code: PE09021S01D |
|
| PG1501 | Laying open of application | ||
| E701 | Decision to grant or registration of patent right | ||
| PE0701 | Decision of registration |
Patent event code: PE07011S01D Comment text: Decision to Grant Registration Patent event date: 20200728 |
|
| GRNT | Written decision to grant | ||
| PR0701 | Registration of establishment |
Comment text: Registration of Establishment Patent event date: 20201022 Patent event code: PR07011E01D |
|
| PR1002 | Payment of registration fee |
Payment date: 20201022 End annual number: 3 Start annual number: 1 |
|
| PG1601 | Publication of registration | ||
| PR1001 | Payment of annual fee |
Payment date: 20230921 Start annual number: 4 End annual number: 4 |
|
| PR1001 | Payment of annual fee |