KR101655164B1 - 스테레오 영상에서 대응점 추출 방법 - Google Patents

Abstract

본 발명은 스테레오 영상에서 대응점 추출 방법으로서, 스테레오 영상을 구성하는 제1 영상과 제2 영상에 대하여, 상기 제1 영상에서 하나 이상의 픽셀을 제1 영상 후보점으로 선택하고, 상기 제2 영상에서 서로 다른 위치의 복수의 픽셀을 복수의 제2 영상 후보점으로 선택하는 후보점 선정 단계; 상기 제1 영상 후보점의 주변 픽셀을 포함하는 복수의 제1 영상 패치를 설정하고, 복수의 상기 제2 영상 후보점마다 주변 픽셀을 포함하여 상기 제1 영상 패치에 대응되는 복수의 제2 영상 패치를 설정하는 패치 설정 단계; 상기 제1 영상 패치마다 대응되는 상기 복수의 제2 영상 패치를 대비하여 밝기값 상관도를 산출하는 밝기값 상관도 산출 단계; 및 산출된 밝기값 상관도를 종합하여 상기 복수의 제2 영상 후보점에서 상기 제1 영상 후보점과 대응되는 대응점을 결정하는 대응점 결정 단계를 포함하는 것을 특징으로 하며, 이와 같은 본 발명에 의하면 후보점마다 복수의 영상 패치를 설정하여 영상 패치 수에 대응되는 정합 결과가 도출되며 이를 토대로 대응점을 결정함으로써 단일 패치를 적용하는 경우보다 정합 실패 및 정합 오류를 획기적으로 줄일 수 있게 된다.

Description

스테레오 영상에서 대응점 추출 방법 {Method for Extracting Corresponding Points from Stereo Images}

본 발명은 스테레오 영상에서 대응점 추출 방법에 대한 것으로서, 보다 상세하게는 서로 다른 위치에서 동일한 대상물을 촬영하여 취득하여 제1 영상과 제2 영상으로 구성된 스테레오 영상에서 복수의 후보점에 대한 복수의 패치를 설정하고 복수의 패치에 대한 밝기값 상관도에 따른 정합 결과를 도출하여 이를 기초로 제1 영상과 제2 영상의 대응점을 추출하는 방법에 관한 것이다.

동일한 지역을 다른 위치에서 촬영한 스테레오 영상으로부터 자동으로 대응점을 추출하는 기술이 여러 응용분야에서 사용하고 있다. 인공위성과 항공기에 탑재된 카메라를 이용하여 정밀한 3차원 지형정보를 산출하는 경우에도 자동으로 스테레오 영상에서 대응점을 추출하고 이를 3차원 정보로 변환하는 과정이 필수적으로 사용된다.

또한 스테레오 CCTV 영상을 이용한 지능형 감시나 자동 영상분석을 위해서나 스테레오 카메라를 이용한 3차원 영상 생성에 있어서도 스테레오 영상에서 자동으로 대응점을 찾는 기술이 가장 핵심적인 기술에 해당된다.

기존의 스테레오 영상에서 자동으로 대응점을 찾는 기술은 제1 영상의 한점에 대한 제 2영상의 여러 후보점을 정의하고, 제1 영상의 후보점과 제2 영상의 후보점들 주변에 일정 크기의 패치를 설정하고 좌우 패치 간의 밝기값 차이를 비교하여 밝기값 차이가 가장 적은 지점을 대응점으로 산출하는 방식이 주로 사용되고 있다.

그러나 이러한 방식은 전체 성능이 패치의 크기에 따라 매우 민감하며 영상에 따라서 가장 좋은 성능을 내는 패치 크기를 결정하기가 매우 어려운 문제점이 있었다. 또한 패치 내에 물체의 경계가 존재하는 경우는 물체 경계 주변의 배경에 대한 밝기값이 제1 영상과 제2 영상의 패치에서 매우 다르게 나타나게 되므로 많은 오정합점이 산출되는 문제점을 있다. 이로 인해 스테레오 영상 내에서 몇몇 특징점에 대해서는 올바른 대응점을 산출할 수 있으나 영상 전역으로 확장하는 경우에는 조밀한 대응점을 산출하지 못하는 문제점이 있다.

본 발명은 상술한 바와 같은 종래 기술의 문제점을 해결하고자 하는 것으로서, 하나의 패치로 여러 후보점에서의 밝기값 상관도에 따른 정합 결과를 도출하는 경우에 패치의 크기와 모양에 따라 정합 결과가 매우 민감하게 산출됨으로써 오정합점이 산출되는 문제점을 해결하고자 한다.

특히, 패치 내에 물체의 경계가 존재하는 경우에 물체 경계 주변의 배경에 대한 밝기값이 제1 영상과 제2 영상의 패치에서 매우 다르게 나타남에 따라 정확한 정합점을 찾기 어려운 문제점을 해결하고자 한다.

나아가서, 단일 패치로 몇몇 특징점에 대해서는 올바른 대응점을 산출할 수 있으나 영상 전역으로 확장시에 조밀한 대응점을 산출하지 못하는 문제점을 해결하고자 한다.

상기 기술적 과제를 달성하고자 본 발명에 따른 스테레오 영상에서 대응점 추출 방법은, 스테레오 영상을 구성하는 제1 영상과 제2 영상에 대하여, 상기 제1 영상에서 하나 이상의 픽셀을 제1 영상 후보점으로 선택하고, 상기 제2 영상에서 서로 다른 위치의 복수의 픽셀을 복수의 제2 영상 후보점으로 선택하는 후보점 선정 단계; 상기 제1 영상 후보점의 주변 픽셀을 포함하는 복수의 제1 영상 패치를 설정하고, 복수의 상기 제2 영상 후보점마다 주변 픽셀을 포함하여 상기 제1 영상 패치에 대응되는 복수의 제2 영상 패치를 설정하는 패치 설정 단계; 상기 제1 영상 패치마다 대응되는 상기 복수의 제2 영상 패치를 대비하여 밝기값 상관도를 산출하는 밝기값 상관도 산출 단계; 및 산출된 밝기값 상관도를 종합하여 상기 복수의 제2 영상 후보점에서 상기 제1 영상 후보점과 대응되는 대응점을 결정하는 대응점 결정 단계를 포함할 수 있다.

일실시예로서, 상기 후보점 선정 단계는, 상기 제1 영상에서 하나 픽셀을 제1 영상 후보점으로 선택하고, 상기 제2 영상에서 서로 다른 위치의 p개의 픽셀을 제2 영상 후보점으로 선택하며, 상기 패치 설정 단계는, 하나의 상기 제1 영상 후보점의 주변 픽셀을 포함하며 서로 상이한 크기와 모양을 갖는 r개의 제1 영상 패치를 설정하고, p개의 상기 제2 영상 후보점마다 주변 픽셀을 포함하여 상기 제1 영상 패치에 대응되는 크기와 모양을 갖는 r개의 제2 영상 패치를 설정하며, 상기 밝기값 상관도 산출 단계는, r개의 상기 제1 영상 패치마다 대응되는 p개의 상기 제2 영상 패치와의 밝기값 상관도를 산출하며, 상기 대응점 결정 단계는, 산출된 밝기값 상관도를 종합하여 r개의 상기 제1 영상 패치 각각에 대한 정합 결과를 생성하고, r개의 정합 결과에 기초하여 p개의 상기 제2 영상 후보점 중 상기 제1 영상 후보점에 대한 대응점으로 결정할 수 있다.

바람직하게는 상기 대응점 결정 단계는, r개의 제1 영상 패치마다 가장 높은 밝기값 상관도를 갖는 제2 영상 패치의 제2 영상 후보점을 추출하여 r개의 정합 결과를 생성하는 단계; r개의 정합 결과에서 추출된 횟수가 가장 많은 제2 영상 후보점을 선택하는 단계; 및 선택된 제2 영상 후보점을 상기 제1 영상 후보점에 대한 대응점으로 결정하는 단계를 포함할 수 있다.

또는 상기 대응점 결정 단계는, r개의 제1 영상 패치마다의 밝기값 상관도를 통합하여 통합 정합 결과를 생성하는 단계; 상기 통합 정합 결과에서 가장 높은 밝기값 상관도를 갖는 제2 영상 패치의 제2 영상 후보점을 선택하는 단계; 및 선택된 제2 영상 후보점을 상기 제1 영상 후보점에 대한 대응점을 결정하는 단계를 포함할 수도 있다.

다른 일실시예로서, 상기 후보점 선정 단계는, 상기 제1 영상에서 서로 다른 위치의 n개의 픽셀을 제1 영상 후보점으로 선택하고, 상기 제2 영상에서 서로 다른 위치의 m개의 픽셀을 제2 영상 후보점으로 선택하며, 상기 패치 설정 단계는, n개의 상기 제1 영상 후보점마다 주변 픽셀을 포함하며 서로 상이한 크기와 모양을 갖는 r개의 제1 영상 패치를 설정하고, m개의 상기 제2 영상 후보점마다 주변 픽셀을 포함하여 상기 제1 영상 패치에 대응되는 크기와 모양을 갖는 r개의 제2 영상 패치를 설정하며, 상기 밝기값 상관도 산출 단계는, n개의 상기 제1 영상 후보점과 m개의 상기 제2 영상 후보점을 조합하여, 상기 제1 영상 후보점과 상기 제2 영상 후보점의 조합에 따라 각각의 제1 영상 패치에 대응되는 제2 영상 패치 간의 밝기값 상관도를 산출하며, 상기 대응점 결정 단계는, 산출된 밝기값 상관도를 종합하여 n개의 상기 제1 영상 후보점과 m개의 상기 제2 영상 후보점의 조합 중 서로 대응되는 대응점을 결정할 수 있다.

바람직하게는 상기 대응점 결정 단계는, 산출된 밝기값 상관도를 종합하여 n개의 상기 제1 영상 후보점과 m개의 상기 제2 영상 후보점의 조합 중 서로 대응되는 대응점을 결정하는 제1 대응점 결정 단계; 및 상기 제1 대응점으로 결정된 제1 영상 후보점과 제2 영상 후보점을 제외하고, 산출된 밝기값 상관도를 종합하여 (n-1)개의 상기 제1 영상 후보점과 (m-1)개의 상기 제2 영상 후보점의 조합 중 서로 대응되는 제2 대응점을 결정하는 제2 대응점 결정 단계를 더 포함할 수 있다.

나아가서 상기 대응점 결정 단계는, 반복 수행되어 i번째 대응점으로 결정된 제1 영상 후보점과 제2 영상 후보점을 제외하고, 산출된 밝기값 상관도를 종합하여 (n-i)개의 상기 제1 영상 후보점과 (m-i)개의 상기 제2 영상 후보점의 조합 중 서로 대응되는 i+1번째 대응점을 결정하며, 여기서 i는 상기 대응점 결정 단계를 반복 횟수를 나타낼 수 있다.

여기서 상기 대응점 결정 단계는, n개의 상기 제1 영상 후보점 각각에 대한 r개의 제1 영상 패치마다 가장 높은 밝기값 상관도를 갖는 제2 영상 패치의 제2 영상 후보점을 추출하여 n×r개의 정합 결과를 생성하고, m개의 상기 제2 영상 후보점 각각에 대한 r개의 제2 영상 패치마다 가장 높은 밝기값 상관도를 갖는 제1 영상 패치의 제1 영상 후보점을 추출하여 m×r개의 정합 결과를 생성하며, n×r개의 정합 결과와 m×r개의 정합 결과를 종합하여 추출된 횟수가 가장 많은 제1 영상 후보점과 제2 영상 후보점 조합을 대응점으로 결정할 수도 있다.

또는 상기 대응점 결정 단계는, n개의 상기 제1 영상 후보점과 m개의 상기 제2 영상 후보점을 조합에 대한 각각의 밝기값 상관도를 종합한 통합 정합 결과를 산출하고, 상기 통합 정합 결과에서 가장 높은 밝기값 상관도를 갖는 제1 영상 후보점과 제2 영상 후보점의 조합을 선택하여 대응점을 결정할 수 있다.

바람직하게는 상기 밝기값 상관도 산출 단계는, 영상 패치의 크기 또는 모양에 따른 가중치가 기설정되어, 상기 제1 영상 패치와 상기 제2 영상 패치의 크기 또는 모양에 따른 가중치를 상기 밝기값 상관도에 반영할 수도 있다.

보다 바람직하게는 상기 밝기값 상관도는, 상기 제1 영상 패치에 포함된 픽셀 각각의 밝기값과 상기 제2 영상 패치에 포함된 픽셀 각각의 밝기값을 이용하여 밝기값 상관도를 산출할 수 있다.

여기서 상기 밝기값 상관도는, 하기 [식 1]로 산출하며,

[식 1]

여기서, Li는 상기 제1 영상 패치의 i번째 픽셀의 밝기값이고, Ri는 상기 제2 영상 패치의 i번째 픽셀의 밝기값이고,

는 상기 제1 영상 패치의 밝기값 평균이고,

은 상기 제2 영상 패치의 밝기값 평균일 수도 있다.

이와 같은 본 발명에 의하면, 후보점마다 복수의 영상 패치를 설정하여 영상 패치 수에 대응되는 정합 결과가 도출되며 이를 토대로 대응점을 결정함으로써 단일 패치를 적용하는 경우보다 정합 실패 및 정합 오류를 획기적으로 줄일 수 있게 된다.

특히 본 발명을 적용하는 경우, 3차원 지형 정보에 대하여 보다 정확하고 정밀한 대응점을 추출하여 영상을 정합함으로써 오정합이 적고 건물의 경계선이나 구조물의 형태 등이 더욱 선명하게 나타난 3차원 지형 정보를 얻을 수 있게 된다.

도 1은 본 발명에 따른 스테레오 영상에서 대응점 추출 방법의 개략적인 흐름도를 도시하며,
도 2는 본 발명에서 하나의 후보점에 대한 복수의 패치를 설정하는 실시예를 도시하며,
도 3은 본 발명에 따른 스테레오 영상에서 대응점 추출 방법의 제1 실시예를 도시하며,
도 4는 상기 제1 실시예에 따른 정합결과를 나타내며,
도 5는 본 발명에 따른 스테레오 영상에서 대응점 추출 방법의 제2 실시예에 대한 정합 결과를 나타내며,
도 6은 종래기술에 따른 영상 정합과 본 발명에 따른 영상 정합을 나타낸다.

본 발명과 본 발명의 동작상의 이점 및 본 발명의 실시에 의하여 달성되는 목적을 설명하기 위하여 이하에서는 본 발명의 바람직한 실시예를 예시하고 이를 참조하여 살펴본다.

먼저, 본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로서, 본 발명을 한정하려는 의도가 아니며, 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 또한 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

본 발명을 설명함에 있어서, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.

본 발명은, 서로 다른 위치에서 동일한 대상물을 촬영하여 제1 영상과 제2 영상으로 구성된 스테레오 영상에서 복수의 후보점에 대한 복수의 패치를 설정하고 복수의 패치에 대한 밝기값 상관도를 기초로 복수의 패치 수에 대응되는 정합 결과를 도출하여 이를 기초로 제1 영상과 제2 영상의 대응점을 추출하는 방법을 개시한다.

본 발명에 따른 스테레오 영상에서 대응점 추출 방법은, 인공위성 또는 항공기 등에 탑재된 카메라를 통한 스테레오 영상이나 CCTV 등의 일반적인 카메라를 통한 스테레오 영상을 획득하여 이에 대한 영상 분석을 수행하는 다양한 영상 시스템에 탑재된 스테레오 영상 정합 장치를 통해 구현될 수 있다.

본 발명을 구현하기 위한 스테레오 영상 정합 장치는, 기본적으로 스테레오 영상을 획득하여 영상을 픽셀 분할하는 기능과, 각 픽셀에 대한 밝기값을 산출하는 기능이 부여되며, 이때 밝기값 산출을 위해서 영상을 그레이 스케일로 변환하는 등 영상 가공을 할 수도 있다.

그리고 스테레오 영상 정합 장치에는, 사용자에 의하거나 자체적으로 랜덤 또는 설정된 규칙에 따라 영상에서 후보점을 선택하고 선택된 후보점의 주변 픽셀들을 포함하는 다양한 모양과 크기의 패치를 설정하는 기능이 부여되며, 설정된 패치에 포함된 픽셀들의 밝기값을 통해 패치 간의 밝기값 상관도를 산출하고 이를 종합하여 대비할 수 있는 기능이 부여될 수 있다.

이와 같은 스테레오 영상 정합 장치로는 일반적인 PC, 노트북, 테블릿 등이 적용될 수도 있고 스마트폰 등도 적용될 수 있으며, 본 발명에 따른 스테레오 영상에서 대응점 추출 방법을 구현하기 위한 스테레오 영상 정합 장치 자체에도 본 발명에 따른 특징적 구성이 존재하나, 이하에서는 스테레오 영상 정합 장치를 통한 스테레오 영상에서 대응점 추출 방법에 대한 실시예를 통해서 본 발명에 대하여 살펴보기로 한다.

도 1은 본 발명에 따른 스테레오 영상에서 대응점 추출 방법의 개략적인 흐름도를 도시한다.

상기 도 1의 흐름도를 참조하면, 먼저 제1 영상과 제2 영상으로 구성되는 스테레오 영상이 준비되면, 상기 스테레오 영상을 구성하는 제1 영상과 제2 영상을 픽셀 단위로 분할(S110)한다. 이때 픽셀 단위는 필요에 따라 다양한 크기로 설정될 수 있고 스테레오 영상이 칼라 영상인 경우 칼라 영상 자체를 픽셀 분할할 수도 있으나 상황에 따라서는 칼라 영상을 그레이 스케일로 변환하는 등 영상을 가공하는 과정이 전제될 수도 있다. 만약 스테레오 영상이 디지털 영상인 경우에는 영상 자체가 픽셀 단위로 구성되기에 별도의 픽셀 단위로 분할하는 과정이 생략될 수 있다.

그리고 상기 제1 영상과 상기 제2 영상에서 각각 제1 영상 후보점과 제2 영상 후보점을 선택(S120)하는데, 상기 제1 영상에서는 하나 이상이 선택되며, 상기 제2 영상에서는 복수개가 선택된다. 여기서 후보점 선택은 사용자에 의해 선택될 수도 있으나 바람직하게는 랜덤 또는 설정된 규칙에 따라 자동적으로 후보점이 선택될 수도 있다. 이때 영상 상에서 서로 상이한 위치의 복수개의 픽셀을 선택하되 영상을 구성하는 모든 픽셀이 후보점으로 선택될 수도 있으나 일정 간격씩 이격된 위치의 픽셀들이 후보점으로 선택될 수도 있다.

후보점 선택에 앞서 영상 정합의 정확도 향상을 위해 획득된 영상을 에피폴라 변환하여 에피폴라 변환 영상으로 생성할 수도 있다. 영상의 왜곡과 원 영상 대비 변형을 최소화하는 공선조건기반의 중심투영변환기법을 적용하여 영상 간에 발생하는 수직시차를 제거할 수도 있다.

후보점이 선택되면, 각 후보점의 주변 픽셀을 포함하는 패치를 설정하는데, 본 발명에서는 후보점마다 복수의 패치가 설정(S130)되며, 이때 복수의 패치는 서로 다른 크기로 설정될 수도 있고 서로 다른 모양으로 설정될 수도 있다.

가령, 하나의 제1 영상 후보점에 대하여 서로 다른 크기 또는 서로 다른 모양의 r개의 제1 영상 패치가 설정되면, 복수의 제2 영상 후보점에 대해서도 상기 제1 영상 후보점에 대해 설정된 r개의 제1 영상 패치에 대응하여 제2 영상 후보점 각각에 대한 r개의 제2 영상 패치가 설정된다.

도 2는 본 발명에 따른 하나의 후보점에 대한 복수의 패치를 설정하는 실시예를 도시하는데, 상기 도 2의 (a) 내지 (d)에 도시된 바와 같이 후보점의 주변을 상이하게 하면서 동일한 크기를 갖는 패치들로 복수개가 설정될 수 있는데, 가령 후보점 주변 지역에 대하여 후보점으로부터 좌상단, 우상단, 좌하단, 우하단 등의 방향으로 정의된 패치가 설정될 수 있으며, 상기 도 2의 (a) 내지 (d)에서는 4×4 픽셀 크기로 패치를 설정하였으나, 상기 도 2의 (e)에 도시된 바와 같이 다른 크기로 7×7 픽셀 크기로 패치가 설정될 수도 있다. 이외에도 패치의 크기는 다양한 크기로 설정될 수 있는데, 가령 동일 위치의 후보점에 대하여 패치의 크기를 4×4 픽셀, 5×5 픽셀, 6×6 픽셀, 7×7 픽셀 등으로 점차적으로 증가시키면서 패치를 설정할 수도 있다. 또한 정사각형 모양의 패치외에도 직사각형, ㄱ자형, T자형 등 다양한 모양으로 변형시켜 패치를 설정할 수도 있다.

패치가 설정되면, 상기 제1 영상 패치마다 대응되는 복수의 제2 영상 패치를 대비하여 밝기값 상관도를 산출(S140)하는데, 가령 하나의 제1 영상 후보점에 대하여 복수개의 제1 영상 패치가 설정되고, 복수의 제2 영상 후보점마다 상기 제1 영상 패치에 대응되는 복수개의 제2 영상 패치가 설정된 경우, 상기 제1 영상 후보점의 제1 영상 패치와 이에 대응되는 복수개의 제2 영상 후보점의 제2 영상 패치를 대비하여 밝기값 상관도를 산출한다. 여기서 밝기값 상관도는 패치에 포함된 단일 픽셀들의 밝기값을 산출하고 이를 기초로 패치 영역 전체에 대한 밝기값을 산출하여 대비되는 패치 간의 밝기값 상관도를 산출할 수 있는데, 이때 밝기값 상관도는 다양한 방식을 적용할 수 있다.

그리고 산출된 밝기값 상관도를 종합하여 영상 패치 수에 대응되는 정합 결과를 도출(S150)하고, 도출된 정합 결과를 기초로 상기 복수의 제2 영상 후보점에서 상기 제1 영상 후보점과 대응되는 대응점을 결정(S160)한다.

이와 같이 본 발명에서는 후보점마다 복수의 영상 패치를 설정하여 영상 패치 수에 대응되는 정합 결과가 도출되며 이를 토대로 대응점을 결정함으로써 단일 패치를 적용하는 경우보다 정합 실패 및 정합 오류를 획기적으로 줄일 수 있게 된다.

이하에서는 본 발명에 대한 실시예를 통해 본 발명에 따른 스테레오 영상에서 대응점 추출 방법에 대하여 좀더 세부적으로 살펴보기로 한다.

본 발명에 따른 스테레오 영상에서 대응점 추출 방법의 제1 실시예에서는, 제1 영상에서 하나의 제1 영상 후보점을 선택하고, 제2 영상에서 서로 다른 위치의 p개의 제2 영상 후보점을 선택하여, 이들 후보점마다 상기 도 2에서와 같은 r개의 제1 영상 패치와 제2 영상 패치를 설정한다. 그리고 r개의 제1 영상 패치마다 대응되는 p개의 제2 영상 패치와의 밝기값 상관도를 산출하여 r개의 정합 결과를 도출하고, r개의 정합 결과에 기초하여 p개의 제2 영상 후보점 중 제1 영상 후보점에 대한 대응점을 결정한다.

상기 제1 실시예에 대한 일례로서 도 3을 참조하여 설명하면, 상기 제1 실시예는, 상기 도 3과 같이 제1 영상에서는 (100,100) 픽셀을 하나의 제1 영상 후보점으로 선택하고, 제2 영상에서는 (98,100) 픽셀, (99,100) 픽셀, (100, 100) 픽셀 및 (101, 100) 픽셀 4개를 제2 영상 후보점 #1부터 제2 영상 후보점 #4로 선택하였다. 여기서 (x, y) 픽셀은 영상 상에서 가로 x번째, 세로 y번째에 위치한 픽셀을 의미한다.

후보점을 선택하고 각각의 영상 후보점마다 5개의 영상 패치를 설정하였는데, 앞서 상기 도 2에 도시된 5개의 영상 패치를 적용하여 하나의 제1 영상 후보점에 대하여 영상 패치 #1부터 영상 패치 #5까지를 설정하고, 4개의 제2 영상 후보점에 대하여 각각 영상 패치 #1부터 영상 패치 #5까지를 설정하였다.

이와 같이 복수의 영상 패치를 설정한 후 대응되는 영상 패치 간의 밝기값 상관도를 산출하는데, 가령 영상 패치 #1에 대하여 제1 영상 후보점의 영상 패치 #1과 4개의 제2 영상 후보점의 영상 패치 #1을 각각 대비하여 밝기값 상관도를 산출한다.

밝기값 상관도는 상기 제1 영상 후보점의 영상 패치 #1에 포함된 픽셀 각각의 밝기값과 상기 제2 영상 후보점의 영상 패치 #1에 포함된 픽셀 각각의 밝기값을 이용하여 밝기값 상관도를 산출하는데, 일례로서, 하기 [식 1]을 적용하여 영상 패치에 대한 밝기값 상관도를 산출할 수도 있다.

[식 1]

여기서, Li는 상기 제1 영상 후보점의 영상 패치의 i번째 픽셀의 밝기값이고, Ri는 상기 제2 영상 후보점의 영상 패치의 i번째 픽셀의 밝기값이고,

는 상기 제1 영상 후보점의 영상 패치의 밝기값 평균이고,

은 상기 제2 영상 후보점의 영상 패치의 밝기값 평균이다.

제1 영상 후보점의 영상 패치 #1과 이에 대응되는 4개의 제2 영상 후보점의 영상 패치 #1을 대비하여 산출된 밝기값 상관도에 따라 영상 패치 #1에 대한 하나의 정합 결과를 산출하는데, 가령, 상기 도 3에 따른 설정에서, 영상 패치 #1에 대해서 제1 영상 후보점의 영상 패치 #1에 대응되어 제2 영상 후보점 #3의 영상 패치 #1이 가장 높은 밝기값 상관도를 갖는 경우, 영상 패치 #1에 대한 정합 결과로서 제1 영상 후보점에 대응되는 제2 영상 후보점 #2가 추출된다.

이와 같은 과정을 영상 패치 #2부터 영상 패치 #5까지 반복 수행하여 영상 패치 #1부터 영상 패치 #5까지의 5개의 정합 결과가 도출될 수 있다.

일례로서 도 4의 (a)는 영상 패치 #1부터 영상 패치 #5까지의 5개의 정합 결과를 종합한 결과를 도시하는데, 상기 도 4의 (a)와 같은 결과로 제2 영상 후보점들이 추출된 경우에, 가장 많은 횟수로 추출된 제2 영상 후보점을 선택하여 선택된 제2 영상 후보점을 상기 제1 영상 후보점에 대한 대응점으로 결정하며, 상기 도 4의 (a)에서는 제2 영상 후보점 #3이 가장 많은 횟수로 추출되었으므로 제1 영상 후보점에 대하여 제2 영상 후보점 #3이 대응점으로 결정된다.

나아가서 상기 도 4의 (a)에서는 영상 패치마다의 정합 결과를 고려하여 대응점을 결정하였으나, 영상 패치 #1부터 영상 패치 #5까지의 밝기값 상관도를 모두 통합하여 통합 정합 결과를 생성하고, 상기 통합 정합 결과에서 가장 높은 밝기값 상관도를 갖는 영상 패치의 제2 영상 후보점을 선택하여 이를 상기 제1 영상 후보점에 대한 대응점으로 결정할 수도 있다.

가령, 상기 도 4의 (b)와 같이 영상 패치 #1부터 영상 패치 #5까지의 밝기값 상관도에 대한 통합 정합 결과가 생성되는 경우에, 제1 영상 후보점의 제1 영상 패치 #3과 제2 영상 후보점 #3의 영상 패치 #3이 가장 높은 밝기값 상관도 A를 나타내므로, 제1 영상 후보점에 대하여 제2 영상 후보점 #3이 대응점으로 결정될 수 있다.

나아가서 본 발명에 따른 스테레오 영상에서 대응점 추출 방법에서는 제1 영상에서 복수의 제1 영상 후보점을 선택하고, 제2 영상에서 복수의 제2 영상 후보점을 선택하여 선택된 영상 후보점마다 복수의 영상 패치를 설정한 후 대응되는 영상 패치간의 밝기값 상관도를 산출하여 대응점을 산출할 수도 있다.

가령, 제1 영상에서 서로 다른 위치의 n개의 픽셀을 제1 영상 후보점으로 선택하고, 제2 영상에서 서로 다른 위치의 m개의 픽셀을 제2 영상 후보점으로 선택한 후, n개의 상기 제1 영상 후보점마다 주변 픽셀을 포함하며 서로 상이한 크기와 모양을 갖는 r개의 제1 영상 패치를 설정하고, m개의 상기 제2 영상 후보점마다 주변 픽셀을 포함하여 상기 제1 영상 패치에 대응되는 크기와 모양을 갖는 r개의 제2 영상 패치를 설정한다.

그리고 n개의 상기 제1 영상 후보점과 m개의 상기 제2 영상 후보점을 조합하여, 상기 제1 영상 후보점과 상기 제2 영상 후보점의 조합에 따라 각각의 제1 영상 패치에 대응되는 제2 영상 패치 간의 밝기값 상관도를 산출하며, 산출된 밝기값 상관도를 종합하여 n개의 상기 제1 영상 후보점과 m개의 상기 제2 영상 후보점의 조합 중 서로 대응되는 대응점을 결정한다.

이때 대응점을 결정하는 과정은, 반복 수행되어 i번째 대응점으로 결정된 제1 영상 후보점과 제2 영상 후보점을 제외하고, 산출된 밝기값 상관도를 종합하여 (n-i)개의 상기 제1 영상 후보점과 (m-i)개의 상기 제2 영상 후보점의 조합 중 서로 대응되는 i+1번째 대응점을 결정하며, 여기서 i는 상기 대응점 결정 단계를 반복 횟수를 나타낸다.

바람직하게는 n개의 상기 제1 영상 후보점 각각에 대한 r개의 제1 영상 패치마다 가장 높은 밝기값 상관도를 갖는 제2 영상 패치의 제2 영상 후보점을 추출하여 n×r개의 정합 결과를 생성하고, m개의 상기 제2 영상 후보점 각각에 대한 r개의 제2 영상 패치마다 가장 높은 밝기값 상관도를 갖는 제1 영상 패치의 제1 영상 후보점을 추출하여 m×r개의 정합 결과를 생성하며, n×r개의 정합 결과와 m×r개의 정합 결과를 종합하여 추출된 횟수가 가장 많은 제1 영상 후보점과 제2 영상 후보점 조합을 대응점으로 결정할 수 있다.

또는 n개의 상기 제1 영상 후보점과 m개의 상기 제2 영상 후보점을 조합에 대한 각각의 밝기값 상관도를 종합한 정합 결과를 산출하고, 산출된 정합 결과에서 가장 높은 밝기값 상관도를 갖는 제1 영상 후보점과 제2 영상 후보점의 조합을 선택하여 대응점을 결정할 수도 있다.

예시적으로 제1 영상에서 5개의 제1 영상 후보점을 선택하고, 제2 영상에서 7개의 제2 영상 후보점을 선택하였으며, 앞서 살펴본 상기 제1 실시예에서와 같이 5개의 제1 영상 후보점과 7개의 제2 영상 후보점마다 5개의 영상 패치를 설정하였다. 영상 패치의 설정은 앞서 상기 제1 실시예를 통해 자세히 살펴보았으므로 상기 제2 실시예에서의 영상 패치 설정 과정에 대한 설명은 생략하기로 한다.

그리고 5개의 제1 영상 후보점과 7개의 제2 영상 후보점을 조합하여 후보점 쌍마다 대응되는 영상 패치 간의 밝기값 상관도를 산출하여, 정합 결과를 도출하였는데, 도 5는 본 발명에 따른 스테레오 영상에서 대응점 추출 방법에 대한 제2 실시예의 정합 결과를 나타낸다.

상기 도 5의 (a)에서는 5개의 제1 영상 후보점과 7개의 제2 영상 후보점을 조합에 따라 대응되는 각각의 영상 패치를 대비하여 밝기값 상관도를 산출하고 산출된 밝기값 상관도를 종합하여 가장 높은 밝기값 상관도를 나타낸 제1 영상 후보점과 제2 영상 후보점의 쌍을 카운팅한 횟수이다.

가령, 제1 영상 후보점 #1과 제2 영상 후보점 #1은 대응되는 5개의 영상 패치 간의 밝기값 상관도가 높은 횟수가 4회로 나타났는데, 즉 상기 도 4의 (a)에서와 같이 제1 영상 후보점 #1에 대한 5개의 영상 패치들과 7개의 제2 영상 후보점들마다의 5개의 영상 패치들을 대비하여 가장 높은 밝기값 상관도를 카운팅했을 때 제1 영상 후보점 #1과 제2 영상 후보점 #1은 대응되는 5개의 영상 패치 간이 가장 높은 밝기값 상관도로 나타난 횟수가 4회인 것이다.

이와 같은 과정으로 나머지 제1 영상후보점들을 기준으로 제2 영상 후보점들에 대하여 대응되는 영상 패치 간의 밝기값 상관도를 산출하면, n×r개의 정합 결과인 5×5의 정합 결과가 도출되며, 여기서 가장 높은 밝기값 상관도를 나타내는 제1 영상 후보점과 제2 영상 후보점의 조합 쌍을 카운트한다.

또한 반대로 제2 영상 후보점들을 기준으로 제1 영상 후보점들에 대하여 대응되는 영상 패치 간의 밝기값 상관도를 산출하면, m×r개의 정합 결과인 7×5의 정합 결과가 도출되며, 여기서 가장 높은 밝기값 상관도를 나타내는 제1 영상 후보점과 제2 영상 후보점의 조합 쌍을 카운트한다.

이와 같이 제1 영상 후보점들을 기준으로 제2 영상 후보점들에 대한 정합 결과와 제2 영상 후보점들을 기준으로 제1 영상 후보점들에 대한 정합 결과에서 밝기값 상관도에 따른 제1 영상 후보점과 제2 영상 후보점의 조합에 대한 카운팅 결과는 상기 도 5의(a)와 같이 나타난다.

상기 도 5의 (a)에서 가장 많은 횟수로 카운팅된 제1 영상 후보점과 제2 영상 후보점의 조합으로 제1 영상 후보점 #3과 제2 영상 후보점 #4의 조합이 B에 나타난 5회로서 가장 많은 카운팅 횟수이므로 제1 영상 후보점 #3과 제2 영상 후보점 #4의 조합을 제1 대응점 조합으로 결정한다.

제1 영상 후보점 #3과 제2 영상 후보점 #4의 조합은 제1 대응점 조합으로 결정되었으므로, 제1 영상 후보점들과 제2 영상 후보점들에서 제1 영상 후보점 #3과 제2 영상 후보점 #4를 제외하고 다음으로 많은 횟수로 카운팅된 조합을 찾으면, 상기 도 5의 (b)에 도시된 바와 같이 제1 영상 후보점 #1과 제2 영상 후보점 #1의 조합이 C에 나타난 4회이고, 제1 영상 후보점 #2와 제2 영상 후보점 #3의 조합이 D에 나타난 4회로서 이 두가지 조합이 동일하게 카운팅된 횟수로 나타나므로, 제2 대응점 조합으로 제1 영상 후보점 #1과 제2 영상 후보점 #1의 조합이 결정되고, 제3 대응점 조합으로 제1 영상 후보점 #2와 제2 영상 후보점 #3의 조합이 결정된다.

또 다시 제2 대응점 조합으로 결정된 제1 영상 후보점 #1과 제2 영상 후보점 #1과 제3 대응점 조합으로 결정된 제1 영상 후보점 #2와 제2 영상 후보점 #3을 제1 영상 후보점들과 제2 영상 후보점들에서 제외시키고 다음번으로 많은 수가 카운팅된 조합을 찾으면 상기 도 5의 (c)에 도시된 바와 같이 제1 영상 후보점 #5와 제2 영상 후보점 #6의 조합이 E에 나타난 3회로서 상기 도 5의 (c) 상에서 가장 많은 횟수이므로 제4 대응점 조합으로 제1 영상 후보점 #5와 제2 영상 후보점 #6의 조합이 결정된다.

이와 같은 과정을 반복하여 계속적으로 대응점 조합이 결정될 수 있는데, 상기 제2 실시예에서는 제1 영상 후보점으로 5개가 선택되고, 제2 영상 후보점으로 7개가 선택되었으므로 대응점 조합은 최대 5개가지 결정될 수 있다.

나아가서 상기 제2 실시예에서도 앞서 살펴본 상기 제1 실시예에 대한 상기 도 4의 (b)에 나타난 결과에서와 같이 제1 영상 후보점과 제2 영상 후보점의 조합에 대한 밝기값 상관도를 종합하여 통합 정합 결과를 산출하고, 통합 정합 결과에서 가장 높은 밝기값 상관도를 갖는 제1 영상 후보점과 제2 영상 후보점의 조합을 선택하여 대응점 조합을 결정할 수 있다. 또한 대응점 조합으로 결정된 제1 영상 후보점과 제2 영상 후보점의 조합을 제1 영상 후보점들과 제2 영상 후보점들에서 제외한 후 나머지 제1 영상 후보점들과 제2 영상 후보점들의 조합에서 다음번 대응점 조합 조합을 결정하며, 이와 같은 과정을 반복하여 다수의 대응점 조합을 결정할 수도 있다.

물론 상기 제1 실시예와 상기 제2 실시예에서 이상적으로는 정합 결과가 모두 동일한 후보점으로 나타날 수 있지만, 물체 경계에 의한 밝기값 불일치 영역이 존재하고, 영상 내에 존재하는 잡음 및 기타 오류들로 인해서 정합 결과는 서로 다른 복수개의 후보점으로 나타날 수 있으며, 최적의 대응점을 결정하기 위해서 정합 결과가 가장 유사하게 나타나는 후보점을 대응점으로 결정하게 된다.

나아가서 본 발명에서는 보다 정합 결과의 신뢰도를 높이기 위해서 영상 패치의 크기 또는 모양 등에 가중치를 설정하고 제1 영상 후보점과 제2 영상 후보점에 대한 영상 패치의 크기 또는 모양에 부여된 가중치를 영상 패치 간의 밝기값 상관도에 반영할 수 있는데, 가령, 상대적으로 패치의 크기가 커질수록 보다 높은 가중치를 부여하거나 단순한 모양이 아닌 복합적인 복잡한 모양의 패치에 대해서 더 높은 가중치를 부여할 수도 있다.

이와 같이 본 발명에서는 다수의 영상 패치를 적용하여 패치간의 밝기값 상관도를 기반으로 각 패치마다 산출된 결과를 조합하여 대응점을 산출함으로써 정합 실패 및 정합 오류를 획기적으로 줄일 수 있게 된다. 즉, 종래기술에서는 단일 패치를 적용하여 밝기값 상관도를 직접적으로 이용하여 대응점을 결정하는데 반해 본 발명에서는 다수의 패치를 적용하여 패치별 밝기값 상관도를 직접 이용하지 않고 이들 정합 결과를 종합하여 대응점을 결정함으로써 종래기술 대비 대응점에 대한 정확도와 신뢰도를 높일 수 있게 된다.

도 6은 종래기술에 따른 영상 정합과 본 발명에 따른 영상 정합을 나타내는데, 상기 도 6의 (a)에 나타난 종래기술에 따른 영상 정합 결과의 경우 단일 패치에 대한 밝기값 상관도를 직접적으로 적용함으로써 물체의 경계선에 대한 선명도가 떨어지지만, 상기 도 6의 (b)에 나타난 본 발명에 따른 영상 정합 결과의 경우 다수 패치에 대한 밝기값 상관도를 기반으로 패치별 정합 결과를 종합하여 대응점을 결정함으로서 물체의 경계선 등이 선명하게 나타나는 결과를 얻을 수 있다.

따라서 본 발명에 따라 영상 정합을 구현하는 경우, 3차원 지형 정보에 대하여 보다 정확하고 정밀한 대응점을 추출하여 영상을 정합함으로써 오정합이 적고 건물의 경계선이나 구조물의 형태 등이 더욱 선명하게 나타난 3차원 지형 정보를 얻을 수 있게 된다.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서 본 발명에 기재된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상이 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의해서 해석되어야하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (12)

1. 스테레오 영상을 구성하는 제1 영상과 제2 영상에 대하여, 상기 제1 영상에서 인접하지 않고 서로 이격되어 다른 위치의 n개의 픽셀을 제1 영상 후보점으로 선택하고, 상기 제2 영상에서 서로 다른 위치의 m개의 픽셀을 제2 영상 후보점으로 선택하는 후보점 선정 단계;
   n개의 상기 제1 영상 후보점마다 주변 픽셀을 포함하여 서로 다른 r개의 제1 영상 패치를 설정하고, m개의 상기 제2 영상 후보점마다 주변 픽셀을 포함하여 상기 제1 영상 패치에 대응되는 r개의 제2 영상 패치를 설정하는 패치 설정 단계;
   n개의 상기 제1 영상 후보점 각각과 m개의 상기 제2 영상 후보점 각각을 조합하고, 상기 제1 영상 후보점과 상기 제2 영상 후보점의 조합에 따라 서로 대응되는 상기 제1 영상 패치와 상기 제2 영상 패치를 대비하여 밝기값 상관도를 산출하는 밝기값 상관도 산출 단계; 및
   산출된 밝기값 상관도에 따른 상기 제1 영상 후보점과 제2 영상 후보점의 대응되는 정합 결과를 카운팅하고 정합 결과 횟수에 따라 n개의 상기 제1 영상 후보점과 m개의 상기 제2 영상 후보점의 조합 중 서로 대응되는 대응점을 결정하는 대응점 결정 단계를 포함하는 것을 특징으로 하는 스테레오 영상에서 대응점 추출 방법.
2. 삭제
3. 제 1 항에 있어서,
   상기 대응점 결정 단계는,
   r개의 제1 영상 패치마다 가장 높은 밝기값 상관도를 갖는 제2 영상 패치의 제2 영상 후보점을 추출하여 r개의 정합 결과를 생성하는 단계;
   r개의 정합 결과에서 추출된 횟수가 가장 많은 제2 영상 후보점을 선택하는 단계; 및
   선택된 제2 영상 후보점을 상기 제1 영상 후보점에 대한 대응점으로 결정하는 단계를 포함하는 것을 특징으로 하는 스테레오 영상에서 대응점 추출 방법.
4. 제 1 항에 있어서,
   상기 대응점 결정 단계는,
   r개의 제1 영상 패치마다의 밝기값 상관도를 통합하여 통합 정합 결과를 생성하는 단계;
   상기 통합 정합 결과에서 가장 높은 밝기값 상관도를 갖는 제2 영상 패치의 제2 영상 후보점을 선택하는 단계; 및
   선택된 제2 영상 후보점을 상기 제1 영상 후보점에 대한 대응점으로 결정하는 단계를 포함하는 것을 특징으로 하는 스테레오 영상에서 대응점 추출 방법.
5. 삭제
6. 제 1 항에 있어서,
   상기 대응점 결정 단계는,
   산출된 밝기값 상관도를 종합하여 n개의 상기 제1 영상 후보점과 m개의 상기 제2 영상 후보점의 조합 중 서로 대응되는 대응점을 결정하는 제1 대응점 결정 단계; 및
   상기 제1 대응점으로 결정된 제1 영상 후보점과 제2 영상 후보점을 제외하고, 산출된 밝기값 상관도를 종합하여 (n-1)개의 상기 제1 영상 후보점과 (m-1)개의 상기 제2 영상 후보점의 조합 중 서로 대응되는 제2 대응점을 결정하는 제2 대응점 결정 단계를 더 포함하는 것을 특징으로 하는 스테레오 영상에서 대응점 추출 방법.
7. 제 1 항에 있어서,
   상기 대응점 결정 단계는,
   반복 수행되어 i번째 대응점으로 결정된 제1 영상 후보점과 제2 영상 후보점을 제외하고, 산출된 밝기값 상관도를 종합하여 (n-i)개의 상기 제1 영상 후보점과 (m-i)개의 상기 제2 영상 후보점의 조합 중 서로 대응되는 i+1번째 대응점을 결정하며, 여기서 i는 상기 대응점 결정 단계를 반복 횟수를 나타내는 것을 특징으로 하는 스테레오 영상에서 대응점 추출 방법.
8. 제 1 항, 제 3 항, 제 4 항, 제 6 항 또는 제 7 항 중 어느 한 항에 있어서,
   상기 대응점 결정 단계는,
   n개의 상기 제1 영상 후보점 각각에 대한 r개의 제1 영상 패치마다 가장 높은 밝기값 상관도를 갖는 제2 영상 패치의 제2 영상 후보점을 추출하여 n×r개의 정합 결과를 생성하고, m개의 상기 제2 영상 후보점 각각에 대한 r개의 제2 영상 패치마다 가장 높은 밝기값 상관도를 갖는 제1 영상 패치의 제1 영상 후보점을 추출하여 m×r개의 정합 결과를 생성하며,
   n×r개의 정합 결과와 m×r개의 정합 결과를 종합하여 추출된 횟수가 가장 많은 제1 영상 후보점과 제2 영상 후보점 조합을 대응점으로 결정하는 것을 특징으로 하는 스테레오 영상에서 대응점 추출 방법.
9. 제 1 항, 제 3 항, 제 4 항, 제 6 항 또는 제 7 항 중 어느 한 항에 있어서,
   상기 대응점 결정 단계는,
   n개의 상기 제1 영상 후보점과 m개의 상기 제2 영상 후보점을 조합에 대한 각각의 밝기값 상관도를 종합한 통합 정합 결과를 산출하고, 상기 통합 정합 결과에서 가장 높은 밝기값 상관도를 갖는 제1 영상 후보점과 제2 영상 후보점의 조합을 선택하여 대응점을 결정하는 것을 특징으로 하는 스테레오 영상에서 대응점 추출 방법.
10. 제 1 항, 제 3 항, 제 4 항, 제 6 항 또는 제 7 항 중 어느 한 항에 있어서,
    상기 밝기값 상관도 산출 단계는,
    영상 패치의 크기 또는 모양에 따른 가중치가 기설정되어,
    상기 제1 영상 패치와 상기 제2 영상 패치의 크기 또는 모양에 따른 가중치를 상기 밝기값 상관도에 반영하는 것을 특징으로 하는 스테레오 영상에서 대응점 추출 방법.
11. 제 1 항, 제 3 항, 제 4 항, 제 6 항 또는 제 7 항 중 어느 한 항에 있어서,
    상기 밝기값 상관도는,
    상기 제1 영상 패치에 포함된 픽셀 각각의 밝기값과 상기 제2 영상 패치에 포함된 픽셀 각각의 밝기값을 이용하여 밝기값 상관도를 산출하는 것을 특징으로 하는 스테레오 영상에서 대응점 추출 방법.
12. 제 11 항에 있어서,
    상기 밝기값 상관도는,
    하기 [식 1]로 산출하며,
    

    

    [식 1]
    여기서, Li는 상기 제1 영상 패치의 i번째 픽셀의 밝기값이고, Ri는 상기 제2 영상 패치의 i번째 픽셀의 밝기값이고,

    

    는 상기 제1 영상 패치의 밝기값 평균이고,

    

    은 상기 제2 영상 패치의 밝기값 평균인 것을 특징으로 하는 스테레오 영상에서 대응점 추출 방법.

Images