KR101563470B1 - 적응적 가중치 국부 기술자 기반의 광량 변화에 강건한 스테레오 정합 장치 및 방법 - Google Patents

적응적 가중치 국부 기술자 기반의 광량 변화에 강건한 스테레오 정합 장치 및 방법 Download PDF

Info

Publication number
KR101563470B1
KR101563470B1 KR1020150111559A KR20150111559A KR101563470B1 KR 101563470 B1 KR101563470 B1 KR 101563470B1 KR 1020150111559 A KR1020150111559 A KR 1020150111559A KR 20150111559 A KR20150111559 A KR 20150111559A KR 101563470 B1 KR101563470 B1 KR 101563470B1
Authority
KR
South Korea
Prior art keywords
local descriptor
gradient
value
information
weight
Prior art date
Application number
KR1020150111559A
Other languages
English (en)
Inventor
이상근
김용호
구자민
Original Assignee
중앙대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 중앙대학교 산학협력단 filed Critical 중앙대학교 산학협력단
Priority to KR1020150111559A priority Critical patent/KR101563470B1/ko
Application granted granted Critical
Publication of KR101563470B1 publication Critical patent/KR101563470B1/ko

Links

Images

Classifications

    • H04N13/0011—
    • G06T7/0022—
    • G06T7/0075—
    • H04N13/0022—

Landscapes

  • Image Analysis (AREA)

Abstract

본 발명은 적응적 가중치 국부 기술자 기반의 광량 변화에 강건한 스테레오 정합 장치 및 방법을 개시한다. 본 발명의 일 실시예에 따르면, 스테레오 영상 정합 장치로서, 프로세서; 및 상기 프로세서에 연결된 메모리를 포함하며, 상기 메모리는, 광량 변화가 있는 기준영상 및 대상영상의 각 픽셀에 대해 밝기 정보, 그라디언트 정보 및 텍스쳐 정보를 포함하는 국부 기술자를 생성하고, 상기 기준영상 및 상기 대상영상 각각의 엔트로피를 계산하고, 상기 엔트로피를 이용하여 상기 국부 기술자에 적응적 가중치를 부여하고, 상기 적응적 가중치가 부여된 국부 기술자를 통해 정합 비용을 계산하여 시차 값을 결정하도록, 상기 프로세서에 의해 실행 가능한 프로그램 명령어들을 저장하는 스테레오 영상 정합 장치가 제공된다.

Description

적응적 가중치 국부 기술자 기반의 광량 변화에 강건한 스테레오 정합 장치 및 방법{Adaptive Weighted Local Descriptor based on Robust Stereo Matching Method and Apparatus Under Radiometric Change}
본 발명은 적응적 가중치 국부 기술자 기반의 광량 변화에 강건한 스테레오 정합 장치 및 방법에 관한 것이다.
최근 3차원 영상뿐만 아니라, 3차원 프린터, 의료 기기와 같은 넓은 분야에서 3차원 융합 기술들이 사용되면서, 관련 연구 분야 역시 높은 관심을 받고 있다. 그 중에서도 3차원 기술과 밀접한 관련이 있는 스테레오 비전 분야가 재조명 받고 있다. 기본적으로 스테레오 비전은 인간의 양안시(binocular vision)와 같은 과정으로 입력된 영상에서 3차원 정보를 추정하는 분야이다.
실제로 인간이 3차원 정보를 얻는 깊이(depth) 단서에는 단안단서(monocular clues)와 양안단서(binocular clues)가 있다. 단안단서로는 객체의 크기 및 중첩, 운동 시차(parallax), 선형 원근법(linear perspective), 원근조절(accommodation), 대기 원근법(aerial perspective) 등이 있으며, 양안단서로 안구 수렴(ocular convergence), 입체적 융합(stereoscopic fusion)이 있다. 인간의 뇌에서는 단안단서와 양안단서를 이용하여 깊이 지각(depth perception) 과정을 거쳐서 3차원 정보를 추정한다. 그중에서도 가장 주요한 단서는 입체적 융합이며, 그 과정에서 두 눈의 시차(retinal disparity)를 이용하여 각 망막에 맺힌 영상 간에서 깊이 정보를 해석하는 입체시(stereopsis)가 가장 중요하다.
스테레오 비전의 원리도 이와 같다. 스테레오 비전은 영상 획득, 카메라 모델링, 대응점 추출, 3차원 깊이 정보 추출 등의 과정을 거친다. 영상 획득 과정에서는 기하학적 특성이 주어진 두 개 이상의 카메라를 사용하여 동시간대에 촬영하거나, 한 개의 카메라를 수평 이동시키면서 촬영하여 영상을 얻는다. 획득된 기준영상과 대상영상에서 동일한 객체에 대해 대응점을 선택하고 추출된 대응점에서의 변이 정보를 통해 3차원 정보를 추정한다.
현재까지 연구되고 있는 대부분의 스테레오 정합 방법들은 특정 위치에서의 픽셀 정보를 바탕으로 대응점을 찾는다. 색상 항상성(color constancy)에 기반하여 스테레오 영상에서의 같은 객체는 동일한 색으로 지각한다는 가정을 통해 대상 픽셀 중에서 가장 유사한 색상을 가진 픽셀을 대응점으로 선택한다.
대표적으로 수학식 1과 같이, 기준(reference)영상과 대상(target)영상에서 두 픽셀 간의 밝기(intensity) 차를 이용하여 정합 비용을 구하는 AD(absolute difference) 방법을 많이 응용한다.
Figure 112015076734052-pat00001
여기서,
Figure 112015076734052-pat00002
는 기준영상에 위치한 픽셀(기준픽셀)에서 각 색상 채널의 밝기 값이고,
Figure 112015076734052-pat00003
는 대상영상에서 탐색 범위 d에 위치한 픽셀(대상픽셀)의 각 색상 채널별 밝기 값이다. 기준픽셀과 대상픽셀의 차분절대 값을 누적하여 구해진 정합 비용 값을 통해 시차 값을 결정한다.
실제적인 스테레오 비전의 영상 획득 과정에서는 다수의 카메라를 사용하는 경우에 각 카메라에서의 설정 값이 정확히 일치하지 않아 조리개 노출시간의 차이, 색온도의 차이 등이 발생하며, 한 개의 카메라를 이동시키면서 촬영하는 경우에는 위치적으로 또는 시간적으로 발생하는 조명의 변화로 인한 그림자나 반사영역의 차이 등이 발생하는 문제점이 있다.
위와 같이 밝기 값을 기반으로 정합 비용을 구하는 스테레오 정합 방법들에서는 영상 획득 과정에서 조명의 변화, 카메라 설정 값 등의 차이로 스테레오 영상이 변형되었을 경우, 시차 맵을 정확하게 추정하지 못하는 문제가 발생한다.
실제로 얻어진 스테레오 영상에서는 기준영상과 대상영상에서 대응되는 픽셀의 밝기 값이 서로 달라짐으로써 정확한 대응점 탐색이 어렵기 때문이다. 따라서 이러한 문제를 해결하기 위해 스테레오 영상에서 log-chromaticity 정보의 상관관계를 이용하는 ANCC(adaptive normalized cross-correlation)와 그라디언트 정보를 이용하는 GradAdapWgt (gradient similarity based adaptive support-weight), CDFofGrad(cumulative distributions of gradients)와 같은 방법이 연구되었다.
먼저, ANCC 방법은 램버시안 반사율(Lambertian reflectance)을 가정하고 영상에서 색상 생성 모델을 추정한 뒤, 전역적인 광량 변화와 국부적인 광량 변화에 불변한 log-chromaticity를 추정한다.
다음으로 NCC(normalized cross-correlation)에 bilateral filter를 기반으로 구한 적응적 가중치를 부여하여 정합 비용을 구한다.
하지만 ANCC 방법은 다수의 조명 조건에서 획득된 영상이거나 영상에서의 객체가 램버시안 반사 물체가 아닌 환경에서는 정확한 색상 생성 모델을 추정하기 어렵고, 전역적으로 정합 비용을 최적화하는 반복 수행이 필요하다는 단점이 있다.
GradAdapWgt, CDFofGrad와 같은 방법들은 스테레오 영상에서 기준픽셀의 밝기 값과 주변픽셀의 밝기 값 간의 그라디언트 정보를 통해 정합 비용을 추정한다.
GradAdapWgt 방법은 그라디언트 커널을 이용하여 얻은 정보를 통해 그라디언트의 크기와 방향을 연산하여 정합 오류를 구한다. 여기에 ASW(adaptive support-weight) 방법을 이용하여 가중치를 부여하고 최종 정합 비용을 구하여 시차 값을 결정한다.
CDFofGrad 방법은 영상에서 구해진 각 색상 채널의 정보가 서로 독립적이라는 가정 하에 그라디언트 정보의 누적 분포를 사용하여 정합 오류를 구한다.
CDFofGrad 방법에서도 마찬가지로 정합 오류에 ASW 방법을 이용한 영역 가중치를 부여하여 최종 정합 비용을 구하고 시차 값을 결정한다. 하지만 GradAdapWgt, CDFofGrad와 같은 그라디언트 정보를 이용하는 방법은 다음과 같은 문제가 있다.
첫째, 대상영상의 탐색 영역 안에서 그라디언트 값이 연속적으로 비슷하게 발생될 때에 정확한 대응점을 찾기 힘들다.
둘째, 밝기 값이 일정한 영역에서는 그라디언트 값이 매우 낮게 발생하여 정확한 정합 비용을 구하기 어려운 문제가 있다.
상기한 종래기술의 문제점을 해결하기 위해, 영상의 광량 변화에도 강건한 대응점 추출 및 정합이 가능한 적응적 가중치 국부 기술자 기반의 광량 변화에 강건한 스테레오 정합 장치 및 방법을 제안하고자 한다.
상기 목적을 달성하기 위해 본 발명의 일 실시예에 따르면, 스테레오 영상 정합 장치로서, 프로세서; 및 상기 프로세서에 연결된 메모리를 포함하며, 상기 메모리는, 광량 변화가 있는 기준영상 및 대상영상의 각 픽셀에 대해 밝기 정보, 그라디언트 정보 및 텍스쳐 정보를 포함하는 국부 기술자를 생성하고, 상기 기준영상 및 상기 대상영상 각각의 엔트로피를 계산하고, 상기 엔트로피를 이용하여 상기 국부 기술자에 적응적 가중치를 부여하고, 상기 적응적 가중치가 부여된 국부 기술자를 통해 정합 비용을 계산하여 시차 값을 결정하도록, 상기 프로세서에 의해 실행 가능한 프로그램 명령어들을 저장하는 스테레오 영상 정합 장치가 제공된다.
상기 국부 기술자의 그라디언트 정보는, 수직 및 수평 방향의 색상 채널 별 그라디언트 값, 상기 수직 및 수평 방향의 그라디언트 값을 이용하여 계산된 상기 색상 채널 별 각도 값 및 상기 그라디언트 값과 상기 각도 값의 누적을 통해 획득된 누적된 그라디언트 값을 포함할 수 있다.
상기 텍스쳐 정보는, BDIP(block difference of inverse probabilities)를 통해 각 색상 채널에서 계산될 수 있다.
상기 국부 기술자는 17차원의 특징 벡터를 포함할 수 있다.
상기 적응적 가중치는, 상기 밝기 정보에 부여되는 제1 가중치와 상기 그라디언트 정보 및 텍스쳐 정보에 부여되는 제2 가중치를 포함하며, 상기 엔트로피에 따라 상기 제1 가중치 및 제2 가중치의 값이 결정될 수 있다.
상기 메모리는, 상기 적응적 가중치가 부여된 국부 기술자를 통해 AD(absolute difference) 기반의 정합 비용과 상관계수 기반의 정합 비용을 이용하여 최종 정합 비용을 결정하도록, 상기 프로세서에 의해 실행 가능한 프로그램 명령어들을 저장할 수 있다.
상기 메모리는, 기준영상에서 적응적 가중치가 부여된 국부 기술자와 대상영상에서 적응적 가중치가 부여된 국부 기술자의 차이를 이용하여 정합 오류를 계산하고, 상기 정합 오류를 이용하여 상기 기준영상 및 대상영상의 각 국부 기술자에 영역 가중치를 부여하고, 상기 영역 가중치가 부여된 국부 기술자를 통해 상기 AD 기반의 정합 비용을 계산하도록, 상기 프로세서에 의해 실행 가능한 프로그램 명령어들을 저장할 수 있다.
상기 메모리는, 상기 기준영상 및 대상영상의 국부 기술자의 평균값, 공분산 및 표준편차를 이용하여 상기 상관계수 기반의 정합 비용을 계산하도록, 상기 프로세서에 의해 실행 가능한 프로그램 명령어들을 저장할 수 있다.
본 발명의 다른 측면에 따르면, 스테레오 영상 정합 방법으로서, 광량 변화가 있는 기준영상 및 대상영상을 입력 받는 단계; 상기 기준영상 및 대상영상의 각 픽셀에 대해 밝기 정보, 그라디언트 정보 및 텍스쳐 정보를 포함하는 국부 기술자를 생성하는 단계; 상기 기준영상 및 상기 대상영상 각각의 엔트로피를 계산하는 단계; 상기 엔트로피를 이용하여 상기 국부 기술자에 적응적 가중치를 부여하는 단계; 상기 적응적 가중치가 부여된 국부 기술자를 통해 정합 비용을 계산하여 시차 값을 결정하는 단계를 포함하는 스테레오 영상 정합 방법이 제공된다.
본 발명의 또 다른 측면에 따르면 상기한 방법을 수행하는 프로그램이 기록된 컴퓨터 판독 가능한 기록매체가 제공된다.
본 발명에 따르면, 광량 변화가 있는 경우 각 픽셀에 대해 국부 기술자를 생성하고, 엔트로피 기반으로 국부 기술자에 적응적 가중치를 부여하기 때문에 오정합 가능성이 낮아지는 장점이 있다.
도 1은 본 발명의 바람직한 일 실시예에 따른 스테레오 정합 과정의 순서도이다.
도 2는 본 발명의 바람직한 일 실시예에 따른 국부 기술자의 구성을 도시한 도면이다.
도 3은 Art 영상에서의 누적된 그라디언트 정보(a)와 BDIP를 통해 구해진 누적된 텍스쳐 정보(b)를 나타낸 도면이다.
도 4는 Art 영상에서 노출(1)과 조명(1) 환경(a)과 노출(2)와 조명(2) 환경(b)에서 획득된 기준 그레이 스케일 영상과 엔트로피 영상을 나타낸 도면이다.
도 5는 본 발명의 바람직한 일 실시예에 따른 스테레오 영상 정합 장치의 구성을 도시한 도면이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다.
그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.
이하에서, 본 발명에 따른 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다.
본 발명은 영상의 광량 변화에도 강건한 대응점 추출 및 정합을 하기 위해 스테레오 영상에서 픽셀의 밝기 정보와 주변 픽셀 간의 그라디언트 정보 및 텍스쳐 정보를 융합하여 국부 기술자를 구성하고, 오정합 가능성을 줄이기 위해 구성된 국부 기술자에 엔트로피 기반의 적응적 가중치를 부여하여 최종적인 정합 비용을 구하는 방법을 제안한다.
도 1은 본 발명의 바람직한 일 실시예에 따른 스테레오 정합 과정의 순서도이다.
도 1의 과정은 복수의 카메라와 연결되며, 프로세서 및 메모리를 포함하는 영상 처리 장치에서 수행될 수 있다.
도 1을 참조하면, 스테레오 영상을 입력 받고(단계 100), 입력된 스테레오 영상(기준영상 및 대상영상)의 기준영상 및 대상영상 각각에 대해 픽셀의 밝기 정보(CIELab), 그라디언트 정보(Gradients), 텍스쳐 정보를 포함하는 국부 기술자를 생성한다(단계 102).
다음으로 엔트로피 정보를 이용하여 국부 기술자에 적응적으로 가중치를 부여한다(단계 104).
또한, 국부 기술자 간의 비유사도(dissimilarity)를 연산하고(단계 106), 적응적 영역 가중치를 부여하여 구한 정합 비용과 국부 기술자 간의 상관관계를 통한 정합 비용을 종합하여 최종 정합 비용을 구한다(단계 108).
마지막으로 구해진 최종 정합 비용을 통해 대응점을 추정하고 시차 값을 결정하여 시차 맵(disparity map)을 생성한다(단계 110).
도 2는 본 발명의 바람직한 일 실시예에 따른 국부 기술자의 구성을 도시한 도면이다.
도 2에 도시된 바와 같이, 본 실시예에 따른 국부 기술자는 17차원의 특징 벡터를 포함할 수 있다.
여기서, 특징 벡터는 해당 위치에 대한 픽셀의 밝기 값, 그라디언트 값, 그라디언트 방향 값, 누적된 그라디언트 값, 누적된 그라디언트 방향 값, 텍스쳐 값일 수 있다.
보다 상세하게, 국부 기술자의 1, 2, 3번의 특징 벡터는 픽셀의 밝기 값으로 정의된다.
그라디언트 값이 낮게 발생되는 영역에서는 주변 정보의 부족으로 정합 비용을 구하기 힘들기 때문에 CIELab 색상 공간에서의 밝기 값을 통해 보완된다.
CIELab 색상 공간은 인간의 색 지각에 기반하여 정의되며, 다른 색 공간에 비해 장치 독립적이고 영상에서 색 오차를 나타내기에 적합한 특성이 있다.
따라서, 특징 벡터 1, 2, 3번은 CIELab 색상 공간에서의 각 L, a, b 채널의 밝기 값으로 구성된다.
기준픽셀과 주변픽셀의 밝기 값은 광량 변화에 있어서 높은 확률로 편중(bias)되는 정도가 일치한다.
따라서, 그라디언트 정보를 이용한다면 조명의 변화, 조리개 노출 시간의 변화 등으로 변화된 스테레오 영상에서도 강건한 정합 비용을 얻을 수 있다.
4번에서 6번까지, 7번에서 9번까지의 특징 벡터는 수학식 2 및 3과 같이 수평, 수직 방향의 그라디언트 값을 각 r,g,b의 색상 채널 별로 구하여 구성한다.
Figure 112015076734052-pat00004
Figure 112015076734052-pat00005
다음의 10번에서 12번의 특징 벡터는 수학식 4와 같이 수직 방향과 수평 방향의 그라디언트 값을 이용하여 구한 각 색상 채널에서의 각도 값이다.
Figure 112015076734052-pat00006
다음의 13번과 14번의 특징 벡터는 수학식 5, 6과 같이 각각 그라디언트 값과 각도 값을 누적시켜서 구한다.
실제 조명 환경의 변화가 발생한 스테레오 영상의 경우, 각 색상 채널에서의 밝기 값과 그라디언트 정보는 객관적으로 색상 항상성에 위배된다.
따라서, 조명 변화에도 강건하게 정합 비용을 구할 수 있는 누적된 그라디언트 정보를 특징 벡터로 구성한다.
Figure 112015076734052-pat00007
Figure 112015076734052-pat00008
마지막으로 15번에서 17번의 특징 벡터는 수학식 7과 같이 BDIP(block difference of inverse probabilities)를 통해 각 색상 채널에서 구한 텍스쳐 정보이다.
Figure 112015076734052-pat00009
여기서, NB는 영역 B 안에서의 픽셀의 개수이다. BDIP를 이용한 방법은 국부적인 밝기 값 변화를 정규화하여 에지(edge), 벨리(valley)와 같은 텍스쳐 정보를 추출한다.
BDIP는 국부 최대 밝기 값으로 정규화하는 과정을 통해 인간의 시각 기능과 같이 밝은 곳에서의 밝기 변화보다 어두운 곳에서의 밝기 변화에 민감한 특징이 있다.
본 실시예에서는 BDIP를 이용하여 객체의 내부와 같이 윤곽이 뚜렷하지 않아 구하기 어려운 그라디언트 정보를 보완한다.
도 3과 같이 그라디언트 정보와 BDIP를 통해 구해진 텍스쳐 정보로 에지와 벨리의 추출 정보를 비교할 수 있다.
상기한 바와 같이, 국부 기술자가 픽셀의 밝기 정보, 그라디언트 정보 및 텍스쳐 정보를 포함하면서, 영상에서 광량의 변화가 발생한 부분에서 밝기 정보로 인한 오정합의 가능성이 오히려 높아질 수 있다.
본 실시예에 따르면, 엔트로피를 이용하여 국부 기술자에 적응적으로 가중치를 부여하여 문제를 오정합 문제를 해결한다.
Figure 112015076734052-pat00010
수학식 8과 같이, 기준픽셀 주위의 일정 영역 안에서 엔트로피를 구할 수 있다. 여기서 h(i)는 히스토그램(histogram)을 통해 구한 밝기 값 i에 대한 확률 값이다.
만약 영역 안의 픽셀이 모두 같은 밝기 값으로 이루어져 있다면, DE 값은 0이다.
DE 값이 낮은 것은 대부분 저주파 성분으로 이루어진 평평한 영역(flat region)임을 나타내고, 반대로 DE 값이 높은 것은 영역에 고주파 성분이 섞인 에지나 벨리가 많이 존재하는 영역을 의미한다.
이렇게 엔트로피는 밝기 값의 변화에 민감하여 영상의 국부적인 복잡도를 추정할 수 있다.
도 4에서 비교적 밝게 표현이 된 곳은 주변 영역에 밝기 변화가 많아 복잡도가 높게 구해진 곳이며, 반대로 어둡게 표현이 된 곳은 밝기 변화가 적어 복잡도가 낮게 구해진 곳이다.
본 실시예에서는 이러한 엔트로피를 이용하여 다음과 같이 국부 기술자의 적응적 가중치를 부여한다.
Figure 112015076734052-pat00011
여기서, Di(p)는 기준픽셀 p에서 국부 기술자를 구성하는 각 i차원의 특징 벡터이다.
본 실시예에서는 기준영상과 대상영상에서의 엔트로피 정보를 이용하여 각각의 국부 기술자에 적응적으로 가중치를 부여하였다.
Figure 112015076734052-pat00012
은 CIELab 색상 정보에 부여되는 가중치로서 다음 수학식 10과 같이 영상에서 구한 엔트로피 값을 이용하여 결정된다.
엔트로피 값이 낮을수록 국부적으로 저주파 성분이 대부분이며, 밝기 변화가 적다. 따라서,
Figure 112015076734052-pat00013
의 값을 크게 함으로써 CIELab 색상 정보의 의존도를 높인다.
Figure 112015076734052-pat00014
Figure 112015076734052-pat00015
는 그라디언트 정보 및 텍스쳐 정보에 부여되는 가중치로서 다음 수학식 11과 같이 영상에서 구한 엔트로피 값으로 결정된다.
엔트로피 값이 클수록 국부적으로 고주파 성분이 섞여있는 것을 의미하며 많은 에지 및 벨리가 존재한다.
따라서
Figure 112015076734052-pat00016
의 값을 크게 하여 그라디언트 정보와 텍스쳐 정보의 의존도를 높이고 정합 비용을 구한다.
Figure 112015076734052-pat00017
수학식 10과 11에서 q는 I 영상에서의 모든 픽셀이다.
Figure 112015076734052-pat00018
과
Figure 112015076734052-pat00019
는 0에서 1의 값을 가지며, 두 가중치 값의 합은 1이다.
상기와 같이 구한 적응적 가중치가 부여된 국부 기술자를 통해 AD 기반의 정합 비용과 상관계수 기반의 정합 비용을 상호 보완하여 최종 정합 비용을 결정하고 시차 값을 결정한다.
먼저 적응적 가중치가 부여된 국부 기술자를 통해 대응점 검색을 위한 비유사도를 계산한다.
비유사도가 높을수록 정합 오류 또한 높으며, 해당되는 두 픽셀이 대응점일 확률이 낮다. 정합 오류는 수학식 12와 같이 기준영역과 대응영역에서 가중치가 부여된 국부 기술자의 AD(absolute difference) 값을 통해 구한다.
Figure 112015076734052-pat00020
여기서,
Figure 112015076734052-pat00021
는 기준영상에서 적응적 가중치가 부여된 국부 기술자이고,
Figure 112015076734052-pat00022
는 대상영상에서 적응적 가중치가 부여된 국부 기술자이다. dim은 국부 기술자에 구성된 특징 벡터의 차원수를 나타내며, 각 특징 벡터에서의 차분절대 값을 누적하여 정합 오류를 구한다.
다음으로 ASW(adaptive support-weight) 방법을 수학식 13과 같이 사용하여 영역 가중치를 부여하고 정합 비용을 계산한다.
기준픽셀 주변의 일정 영역 안에 위치한 국부 기술자들 중에 색상의 유사도(similarity)와 도메인 상의 근접도(proximity)에 따라 좀더 신뢰할 수 있는 국부 기술자에 영역 가중치를 부여한다. 적응적으로 영역 가중치가 부여된 국부 기술자를 통해 정합 비용을 구함으로써 정합 결과에서의 첨예도(sharpness)를 높일 수 있다.
Figure 112015076734052-pat00023
여기서, Np는 기준영상에서의 영역이고, Np'd는 대상영상에서의 영역이다.
Figure 112015076734052-pat00024
는 다음과 같이 구한 영역 가중치이다.
Figure 112015076734052-pat00025
Figure 112015076734052-pat00026
Figure 112015076734052-pat00027
여기서,
Figure 112015076734052-pat00028
는 색상간의 유사도와 CIELab 색상 공간에서의 유클리디안 거리(Euclidean distance)이며,
Figure 112015076734052-pat00029
는 도메인 상에서 픽셀간의 거리 값을 유클리디안 거리로 구한다.
수학식 14에서
Figure 112015076734052-pat00030
와
Figure 112015076734052-pat00031
는
Figure 112015076734052-pat00032
와
Figure 112015076734052-pat00033
의 상대적인 중요도를 조절하는 파라미터이다.
다음으로 수학식 17과 같이 국부 기술자 간의 상관계수(coefficient of correlation)를 통해 정합 비용을 구한다.
상관계수를 통해 정합 비용을 구하는 방법은 공분산(covariance)과 표준편차(standard deviation)를 이용하기 때문에 광량 변화에 의해 국부 기술자가 편중되는 현상에서도 강건한 장점이 있다.
Figure 112015076734052-pat00034
여기서,
Figure 112015076734052-pat00035
와
Figure 112015076734052-pat00036
는 각각
Figure 112015076734052-pat00037
와
Figure 112015076734052-pat00038
의 평균값이다. 또한 N은 영역 안에서의 픽셀의 개수이며, dim은 국부 기술자에 구성된 특징 벡터의 차원수이다.
Figure 112015076734052-pat00039
와
Figure 112015076734052-pat00040
는 각각
Figure 112015076734052-pat00041
와
Figure 112015076734052-pat00042
의 표준편차이다.
하지만 상관계수만을 이용한 정합 방법은 윤곽선 부분에서 뭉뚱그려지는 효과(fattening effect)로 부정확한 결과를 초래한다.
따라서, 본 실시예에서는 앞에서 구한 AD 기반의 정합 비용과 상관계수를 통한 정합 이용을 수학식 18과 같이 종합하여 최종 정합 비용을 구한다.
Figure 112015076734052-pat00043
마지막으로, WTA(Winner-Takes-All) 방법을 사용하여 탐색 영역 중에서 시차 값을 결정한다. WTA 방법은 수학식 19와 같이 탐색 영역 안에서 계산된 최종 정합 비용들 중 최소값을 갖는 대응 픽셀의 위치를 시차 값으로 결정한다.
Figure 112015076734052-pat00044
여기서,
Figure 112015076734052-pat00045
이며, dp값은 시차 값이다.
영상 내 모든 픽셀에 대해 시차 값을 구하고 가깝고 먼 정도를 표현하여 시차맵을 구성한다.
도 5는 본 발명의 바람직한 일 실시예에 따른 스테레오 영상 정합 장치의 구성을 도시한 도면이다.
도 5에 도시된 바와 같이, 본 실시예에 따른 스테레오 영상 정합 장치는 프로세서(500) 및 메모리(502)를 포함할 수 있다.
프로세서(500)는 컴퓨터 프로그램을 실행할 수 있는 CPU(central processing unit)나 그밖에 가상 머신 등을 포함할 수 있다.
메모리(502)는 고정식 하드 드라이브나 착탈식 저장 장치와 같은 불휘발성 저장 장치를 포함할 수 있다. 착탈식 저장 장치는 컴팩트 플래시 유닛, USB 메모리 스틱 등을 포함할 수 있다. 메모리(502)는 각종 랜덤 액세스 메모리와 같은 휘발성 메모리도 포함할 수 있다.
이와 같은 메모리(502)에는 프로세서(500)에 의해 실행 가능한 프로그램 명령어들이 저장된다.
본 발명의 바람직한 일 실시예에 따르면, 메모리(502)에는 기준영상 및 대상영상의 각 픽셀에 대해 밝기 정보, 그라디언트 정보 및 텍스쳐 정보를 포함하는 국부 기술자를 생성하고, 기준영상 및 상기 대상영상 각각의 엔트로피를 계산하고, 엔트로피를 이용하여 국부 기술자에 적응적 가중치를 부여하고, 적응적 가중치가 부여된 국부 기술자를 통해 정합 비용을 계산하여 시차 값을 결정하도록, 프로세서(500)에 의해 실행 가능한 프로그램 명령어들을 저장된다.
또한, 메모리(502)는 적응적 가중치가 부여된 국부 기술자를 통해 AD(absolute difference) 기반의 정합 비용과 상관계수 기반의 정합 비용을 이용하여 최종 정합 비용을 결정하는 프로그램 명령어들을 저장한다.
보다 상세하게, 메모리(502)는 기준영상에서 적응적 가중치가 부여된 국부 기술자와 대상영상에서 적응적 가중치가 부여된 국부 기술자의 차이를 이용하여 정합 오류를 계산하고, 정합 오류를 이용하여 상기 기준영상 및 대상영상의 각 국부 기술자에 영역 가중치를 부여하고, 영역 가중치가 부여된 국부 기술자를 통해 상기 AD 기반의 정합 비용을 계산하는 프로그램 명령어들을 저장한다.
여기서, 상관계수 기반의 정합 비용 계산은 기준영상 및 대상영상의 국부 기술자의 평균값, 공분산 및 표준편차를 이용하여 이루어진다.
이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.

Claims (13)

  1. 스테레오 영상 정합 장치로서,
    프로세서; 및
    상기 프로세서에 연결된 메모리를 포함하며,
    상기 메모리는,
    광량 변화가 있는 기준영상 및 대상영상의 각 픽셀에 대해 밝기 정보, 그라디언트 정보 및 텍스쳐 정보를 포함하는 국부 기술자를 생성하고,
    상기 기준영상 및 상기 대상영상 각각의 엔트로피를 계산하고,
    상기 엔트로피를 이용하여 상기 국부 기술자에 적응적 가중치를 부여하고,
    상기 적응적 가중치가 부여된 국부 기술자를 통해 AD(Absolute differences) 기반의 정합 비용과 상관계수 기반의 정합 비용을 이용하여 최종 정합 비용을 결정하고,
    상기 최종 정합 비용을 계산하여 시차 값을 결정하도록,
    상기 프로세서에 의해 실행 가능한 프로그램 명령어들을 저장하며,
    상기 국부 기술자의 그라디언트 정보는,
    수직 및 수평 방향의 색상 채널 별 그라디언트 값, 상기 수직 및 수평 방향의 그라디언트 값을 이용하여 계산된 상기 색상 채널 별 각도 값 및 상기 그라디언트 값과 상기 각도 값의 누적을 통해 획득된 누적된 그라디언트 값을 포함하고,
    상기 텍스쳐 정보는,
    BDIP(block difference of inverse probabilities)를 통해 각 색상 채널에서 계산되며,
    상기 적응적 가중치는,
    상기 밝기 정보에 부여되는 제1 가중치와 상기 그라디언트 정보 및 텍스쳐 정보에 부여되는 제2 가중치를 포함하며,
    상기 엔트로피에 따라 상기 제1 가중치 및 제2 가중치의 값이 결정되는 스테레오 영상 정합 장치.
  2. 삭제
  3. 삭제
  4. 제1항에 있어서,
    상기 국부 기술자는 17차원의 특징 벡터를 포함하는 스테레오 정합 장치.
  5. 삭제
  6. 삭제
  7. 제1항에 있어서,
    상기 메모리는,
    기준영상에서 적응적 가중치가 부여된 국부 기술자와 대상영상에서 적응적 가중치가 부여된 국부 기술자의 차이를 이용하여 정합 오류를 계산하고,
    상기 정합 오류를 이용하여 상기 기준영상 및 대상영상의 각 국부 기술자에 영역 가중치를 부여하고,
    상기 영역 가중치가 부여된 국부 기술자를 통해 상기 AD 기반의 정합 비용을 계산하도록,
    상기 프로세서에 의해 실행 가능한 프로그램 명령어들을 저장하는 스테레오 영상 정합 장치.
  8. 제1항에 있어서,
    상기 메모리는,
    상기 기준영상 및 대상영상의 국부 기술자의 평균값, 공분산 및 표준편차를 이용하여 상기 상관계수 기반의 정합 비용을 계산하도록,
    상기 프로세서에 의해 실행 가능한 프로그램 명령어들을 저장하는 스테레오 영상 정합 장치.
  9. 스테레오 영상 정합 방법으로서,
    광량 변화가 있는 기준영상 및 대상영상을 입력받는 단계;
    상기 기준영상 및 대상영상의 각 픽셀에 대해 밝기 정보, 그라디언트 정보 및 텍스쳐 정보를 포함하는 국부 기술자를 생성하는 단계;
    상기 기준영상 및 상기 대상영상 각각의 엔트로피를 계산하는 단계;
    상기 엔트로피를 이용하여 상기 국부 기술자에 적응적 가중치를 부여하는 단계;
    상기 적응적 가중치가 부여된 국부 기술자를 통해 AD(Absolute differences) 기반의 정합 비용과 상관계수 기반의 정합 비용을 이용하여 최종 정합 비용을 결정하는 단계; 및
    상기 최종 정합 비용을 계산하여 시차 값을 결정하는 단계를 포함하되,
    상기 국부 기술자의 그라디언트 정보는,
    수직 및 수평 방향의 색상 채널 별 그라디언트 값, 상기 수직 및 수평 방향의 그라디언트 값을 이용하여 계산된 상기 색상 채널 별 각도 값 및 상기 그라디언트 값과 상기 각도 값의 누적을 통해 획득된 누적된 그라디언트 값을 포함하고,
    상기 텍스쳐 정보는,
    BDIP(block difference of inverse probabilities)를 통해 각 색상 채널에서 계산되며,
    상기 적응적 가중치는,
    상기 밝기 정보에 부여되는 제1 가중치와 상기 그라디언트 정보 및 텍스쳐 정보에 부여되는 제2 가중치를 포함하며,
    상기 엔트로피에 따라 상기 제1 가중치 및 제2 가중치의 값이 결정되는 스테레오 영상 정합 방법.
  10. 삭제
  11. 삭제
  12. 삭제
  13. 제9항에 따른 방법을 수행하는 프로그램이 기록된 컴퓨터 판독 가능한 기록매체.
KR1020150111559A 2015-08-07 2015-08-07 적응적 가중치 국부 기술자 기반의 광량 변화에 강건한 스테레오 정합 장치 및 방법 KR101563470B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150111559A KR101563470B1 (ko) 2015-08-07 2015-08-07 적응적 가중치 국부 기술자 기반의 광량 변화에 강건한 스테레오 정합 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150111559A KR101563470B1 (ko) 2015-08-07 2015-08-07 적응적 가중치 국부 기술자 기반의 광량 변화에 강건한 스테레오 정합 장치 및 방법

Publications (1)

Publication Number Publication Date
KR101563470B1 true KR101563470B1 (ko) 2015-10-27

Family

ID=54428645

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150111559A KR101563470B1 (ko) 2015-08-07 2015-08-07 적응적 가중치 국부 기술자 기반의 광량 변화에 강건한 스테레오 정합 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101563470B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108510529A (zh) * 2018-03-14 2018-09-07 昆明理工大学 一种基于自适应权值的图割立体匹配方法
CN110136188A (zh) * 2019-05-16 2019-08-16 东莞职业技术学院 一种基于特征的立体图像匹配算法
KR102090666B1 (ko) * 2019-02-11 2020-03-18 주식회사 넥스트칩 스테레오 영상들에 대한 시차 맵 생성 방법 및 장치

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
대한전자공학회 추계종합학술대회, 2013.11, 432-435 (4 pages)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108510529A (zh) * 2018-03-14 2018-09-07 昆明理工大学 一种基于自适应权值的图割立体匹配方法
KR102090666B1 (ko) * 2019-02-11 2020-03-18 주식회사 넥스트칩 스테레오 영상들에 대한 시차 맵 생성 방법 및 장치
CN110136188A (zh) * 2019-05-16 2019-08-16 东莞职业技术学院 一种基于特征的立体图像匹配算法
CN110136188B (zh) * 2019-05-16 2023-01-17 东莞职业技术学院 一种基于特征的立体图像匹配算法

Similar Documents

Publication Publication Date Title
US11145038B2 (en) Image processing method and device for adjusting saturation based on depth of field information
Papadhimitri et al. Uncalibrated near-light photometric stereo
TWI419078B (zh) 即時立體影像產生裝置與方法
KR102415505B1 (ko) 스테레오 영상 매칭 방법 및 장치
WO2018171008A1 (zh) 一种基于光场图像的高光区域修复方法
KR101510312B1 (ko) 복수의 카메라들을 이용한 3d 얼굴 모델링 장치, 시스템 및 방법
US11270414B2 (en) Method for generating a reduced-blur digital image
US20200364441A1 (en) Image acquisition system for off-axis eye images
KR101563470B1 (ko) 적응적 가중치 국부 기술자 기반의 광량 변화에 강건한 스테레오 정합 장치 및 방법
CN112419165A (zh) 利用几何和光度变换进行图像修复
CN110443228B (zh) 一种行人匹配方法、装置、电子设备及存储介质
JP7156624B2 (ja) デプスマップフィルタ処理装置、デプスマップフィルタ処理方法及びプログラム
JP6285686B2 (ja) 視差画像生成装置
KR101825218B1 (ko) 깊이 정보 생성 장치 및 방법
CN109961092B (zh) 一种基于视差锚点的双目视觉立体匹配方法及系统
CN116630423A (zh) 一种基于orb特征的微小型机器人多目标双目定位方法及系统
Sotoca et al. Depth estimation improvement in 3D integral imaging using an edge removal approach
CN108305269B (zh) 一种双目图像的图像分割方法及系统
WO2022036338A2 (en) System and methods for depth-aware video processing and depth perception enhancement
CN108062741B (zh) 双目图像处理方法、成像装置和电子设备
CN113225484A (zh) 快速获取屏蔽非目标前景的高清图片的方法及装置
CN111462337A (zh) 一种图像处理方法、设备及计算机可读存储介质
Kadmin et al. Local Stereo Matching Algorithm Using Modified Dynamic Cost Computation [J]
Kim et al. Confocal disparity estimation and recovery of pinhole image for real-aperture stereo camera systems
CN108171736B (zh) 一种双目图像的自适应权重立体匹配方法及系统

Legal Events

Date Code Title Description
A302 Request for accelerated examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20181122

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20191001

Year of fee payment: 5