KR100376962B1

KR100376962B1 - 선형 푸시브룸센서에서 촬영한 스테레오 영상의 에피폴라특성곡선 추출방법

Info

Publication number: KR100376962B1
Application number: KR10-2000-0048429A
Authority: KR
Inventors: 김태정; 이흥규
Original assignee: 한국과학기술원
Priority date: 2000-08-21
Filing date: 2000-08-21
Publication date: 2003-03-26
Also published as: US20020044680A1; KR20020015235A

Abstract

본 발명은 선형 푸시브룸(LINEAR PUSHBROOM)센서에서 촬영한 스테레오 영상의 에피폴라 특성곡선을 추출하는 방법에 관한 것이다.

본 발명에 따르면, 영상 촬영시에 초점이 연속적으로 이동하여 결과적으로 영상 내에 각 라인당 혹은 각 부분별로 별도의 초점이 존재하게 되는 촬영방식 또는 주사방식으로 영상을 취득하는 선형 푸시브룸센서로 부터 동일한 영역을 다른 각도, 다른 위치에서 촬영하여 동일영역 내의 해당점들의 음영 또는 색상이 기록된 두개 이상의 영상 즉, 스테레오 영상에서 정확한 에피폴라 특성곡선을 추출토록 하는 방법이 제시된다.

따라서, 본 발명은 선형 푸시브룸 센서에서의 에피폴라 특성곡선을 정확한 수식으로 표현할 수 있으므로 선형 푸시브룸센서의 스테레오 영상처리가 가능하다.

Description

선형 푸시브룸센서에서 촬영한 스테레오 영상의 에피폴라 특성곡선 추출방법{EXTRACTION METHOD OF EPIPOLAR CURVES OF STEREO IMAGE PAIRS FROM LINEAR PUSHBROOM SENSORS}

본 발명은 선형 푸시브룸(LINEAR PUSHBROOM)센서에서 촬영한 스테레오 영상의 에피폴라(EPIPOLAR) 특성곡선을 추출하는 방법에 관한 것이다. 특히, 일반적인 투시도법이 적용되지 않는 선형 푸시브룸센서에서 촬영된 스테레오 영상의 에피폴라 특성곡선 추출방법을 제시하여 영상으로부터의 정밀한 3차원 지형정보 생성 및 영상의 처리를 가능토록 하는 기술에 관한 것이다.

선형 푸시브룸 센서란 영상촬영시에 초점이 연속적으로 이동하여 결과적으로 영상내에 각 라인당 혹은 각 부분별로 별도의 초점이 존재하게 되는 촬영방식 또는 주사방식으로 영상을 취득하는 센서를 의미한다.

또한, 스테레오 영상이란 동일한 영역을 다른 각도, 다른 위치에서 촬영하여 동일 영역 내의 해당점들의 음영 또는 색상이 기록된 두개 이상의 영상을 의미한다.

에피폴라(EPIPOLAR) 특성곡선이란 일반성을 잃지 않는 범위에서 스테레오 영상을 두개의 영상으로 이루어져 있다고 가정하고 두개의 영상을 각각 좌측영상과 우측영상으로 구분한 상태에서 좌측(또는 우측)영상의 한 점에 해당하는 우측(또는 좌측)영상점이 놓여질 수 있는 모든 위치를 표현한 궤적을 나타낸다.

도 1은 일반적인 투시도법에 적용되는 센서로부터 촬영된 스테레오 영상의 에피폴라 특성곡선을 설명하기 위한 도면이다.

도 1에 도시된 바와 같이, 스테레오 영상의 에피폴라 특성곡선을 살펴보면 먼저 지상기준좌표계를 기준으로 좌측영상과 우측영상으로 구분한 상태에서 좌측영상의 초점을 S, 좌측영상의 한 점을 q, 좌측영상의 초점 S와 우측영상의 한점 q′를 연결하는 위치점을 직선 Sq로 정의하자.

좌측영상의 한 점 q에 해당하는 지표면 혹은 촬영 영역의 표면이 만나는 점이 지상점 Q가 되며, 이 지상점 Q의 위치는 항상 직선 sq 상에 존재한다. 지상점 Q에 해당하는 우측영상의 한 점 q′을 상응점이라 부르며, q′은 직선 sq상의 한점에서 우측영상의 초점 S′을 통과하도록 정의된 직선과 우측영상면과의 교점에 해당된다.

이 때, 직선 sq 상에 있는 모든 점들에서 우측영상의 초점 S′을 직선으로 그어 생긴 우측영상면과 교점들의 집합은 곡선 형태로 나타나며, 이 곡선을 좌측영상점 q에 해당하는 우측영상의 에피폴라 특성곡선이라 한다.

즉, 좌측영상의 한 점 q에 해당하는 우측영상의 상응점 q′은 항상 이 에피폴라 특성곡선 상에 존재하게 된다. 우측영상 q′에 해당하는 좌측영상의 에피폴라 특성곡선 역시 상기의 우측영상의 에피폴라 특성곡선 설명에 의해 좌측영상과 우측영상을 바꾸어 정의할 수 있다.

상기와 같이 영상에 하나의 초점이 존재하는 투시도법(perspective)에 적용되는 센서에서 촬영된 스테레오 영상의 경우 에피폴라 특성곡선은 직선으로 표현되며, 이러한 에피폴라 특성곡선을 추출하는 기술이 이미 개발되어 널리 사용되고 있다.

그러나, 상기와 같은 투시도법에 적용되는 센서에서 촬영된 스테레오 영상의 에피폴라 특성곡선은 거의 모든 사진측량 교과서에 수록되기까지 하는 주요한 스테레오 영상의 특성에도 불구하고, 초점이 연속적으로 이동하며 영상을 촬영, 영상내에 각 라인당 또는 부분당 별도의 초점이 존재하는 특성을 지닌 선형 푸시브룸 센서의 에피폴라 특성곡선에 대해서는 추출방법, 특징 등이 밝혀진 바가 없었다.

또한, 선형 푸시브룸 센서에서의 에피폴라 특성곡선 추출기법이 투시도법에 적용되는 센서에서의 에피폴라 특성곡선의 추출기법과는 동일하지 않음에도 불구하고, 이 두방식을 동일시하고 혼용하여 이용함으로써 그에 따른 에러가 발생 되었다.

따라서, 본 발명은 상기한 문제점을 해결하기 위한 것으로써, 본 발명의 목적은 선형 푸시브룸 센서에서 촬영한 스테레오 영상에서의 좌측영상(또는 우측영상)의 한 점에 해당하는 우측영상(또는 좌측영상)의 에피폴라 특성곡선을 정확히 추출하도록 하는 선형 푸시브룸센서에서 에피폴라 특성곡선 추출방법을 제공하는데 그 목적이 있다.

상기 본 발명의 목적을 달성하기 위한 기술적 사상으로써 본 발명은

영상 내에 각 라인당 혹은 각 부분별로 별도의 초점이 존재하는 촬영방식 또는 주사방식으로 영상을 취득하는 선형 푸시브룸 센서에서 촬영한 스테레오 영상에서의 좌측영상(또는 우측영상점 q')의 한점 q에 해당하는 우측영상(또는 좌측영상의 에피폴라 특성곡선)의 에피폴라 특성곡선을 추출하는 방법에 있어서,

카메라의 좌측 그리고, 우측 위치 및 자세 좌표값을 시간 또는 영상 좌표에 대한 선형 혹은 비선형의 다항식으로 가정하여 공선방정식을 유도하는 단계와;

좌측영상의 초점(S)와 좌측영상의 한점 q를 지나는 직선 Sq의 좌표값을 산출하는 단계;

상기 산출된 직선 Sq의 좌표값을 우측영상점 q'의 공선방적식에 대입하는 단계; 및

상기 산출 결과를 결합하여 좌측영상점 q에 대한 우측영상의 에피폴라 특성곡선방정식을 유도하는 단계로 구성된 것을 특징으로 하는 선형 푸시브룸센서에서의 스테레오 영상의 에피폴라 특성곡선 추출방법이 제시된다.

도 1은 일반적인 투시도법에 적용되는 센서로부터 촬영된 스테레오 영상의 에피폴라 특성곡선을 설명하기 위한 도면

도 2는 본 발명에 따른 선형 푸시브룸센서로부터 촬영된 스테레오 영상의 에피폴라 특성곡선을 추출하는 과정을 나타낸 순서도

도 3은 본 발명에 따른 선형 푸시브룸센서에서 촬영된 스테레오 영상의 에피폴라 특성곡선을 나타낸 그래프

<도면의 주요부분에 대한 부호의 설명>

S : 좌측영상의 초점 S' : 우측영상의 초점

q : 좌측영상의 한 점 q' : 우측영상의 한 점

Q : 지상점

이하, 본 발명의 실시예에 대한 구성 및 그 작용을 첨부한 도면을 참조하면서 상세히 설명하기로 한다.

도 2는 본 발명에 따른 선형 푸시브룸센서로부터 촬영된 스테레오 영상의 에피폴라 특성곡선을 추출하는 과정을 나타낸 순서도이고, 도 3은 본 발명에 따른 선형 푸시브룸센서로부터 촬영된 스테레오 영상의 에피폴라 특성곡선을 나타낸 그래프이다.

먼저, 선형 푸시브룸 센서에서 촬영한 스테레오 영상의 에피폴라 특성곡선을 추출하기 위해서는 스테레오 영상의 좌,우영상에서 각각 영상 촬영 당시의 카메라와 지표면과의 관계를 나타내는 센서모델이 필요하다. 이러한 센서 모델은 다음과 같은 공선방정식을 이용하여 표현된다.

물론, 경우에 따라 선형 푸시브룸 센서를 위한 공성방정식이 아래의 수학식들과 다소 상이하게 표기될 수 있으나, 본 발명은 특정한 수식으로 표현된 공선방정식에 국한되지 않음을 주지하는 바이다.

상기와 같은 수학식에서 수학식 1,2에서의은 좌측영상의 점 q의 좌표를 나타내며, 수학식 3,4에서의은 우측영상의 점 q′의 좌표를 나타낸다.

본 발명의 선형 푸시브룸 센서에는 촬영방식 혹은 주사방식에 의해 각 라인당 또는 각 부분별로 초점이 존재하며, 이에 따른 영상좌표계가 정의되므로 수학식1과 3에서좌표값은 0으로 놓는다.

상기의 수학식에서 (X,Y,Z)는 지상점 Q의 지상기준좌표계 상의 좌표값을 나타내며,와는 각각 좌측영상의 초점과 우측영상의 초점의 지상기준좌표계 상의 좌표값을 나타낸다.

또한, f 는 좌측영상을 촬영한 선형 푸시브룸 센서의 초점거리를 나타내고, f′는 우측영상을 촬영한 선형 푸시브룸 센서의 초점거리를 나타낸다.

은 좌측 영상좌표계를 지상 기준좌표계와 일시키도록 하는 회전이동행렬의 각 인수들이며, 이를 각각 Z축, Y축, Z축을 중심으로 회전 이동하는 회전각로 표현하면 다음과 같다.

상기 수학식 5를 살펴보면, 수학식 3와 4에서 제시된은 우측 영상좌표계를 지상기준좌표계와 일치시키도록 하는 회전이동행렬의 인수들이며, 회전각을 이용하여 수학식 5와 유사하게 표현할 수 있다는 것을 알 수 있다.

즉, 종래 투시도법에 적용되는 센서와 달리 선형 푸시브룸 센서는 라인당 혹은 부분별로 초점이 존재하고, 또한 라인당 혹은 부분별로 카메라의 자세가 바뀔 수 있으므로 상기의 수학식에서와는 촬영방식 혹은 주사방식에 따라 각각와에 대한 선형 혹은 비선형 다항식으로 표현할 수 있다.

또한, 좌측 영상좌표계를 지상기준좌표계와 일치시키도록 회전이동할 때 회전각과 우측 영상좌표계를 지상기준좌표계와 일치시키도록 회전이동할 때 회전각도 각각와에 대한 선형 또는 비선형의 다항식으로 표현할 수 있다.

상기와 같이 예시된 공선방정식에 기초로하여 선형 푸시브룸 센서의 스테레오 영상에서 에피폴라 특성곡선을 다음과 같은 수학식에 의해 추출할 수 있다.

이어서, 선형 푸시브룸 센서의 스테레오 영상에서의 에피폴라 특성곡선을 추출하는 추출방법의 각 과정을 살펴보기로 한다.

먼저, 단계(S100)에서는 좌측 카메라의 위치, 우측 카메라의 위치, 좌측 카메라의 자세와 우측 카메라의 자세를 각각와에 대한 선형 또는 비선형 다항식으로 가정한 후, 이를 수학식 1-4에 예시된 공선방정식에 대입한다.

단계(S110)에서는 좌측영상의 초점 S에서 좌측영상점를 지나는 직선 sq를 파라미터 κ를 이용하여 다음과 같은 수학식에 의해 산출한다.

이 때,은 수학식 7과 같다.

이어서, 단계(S120)에서는 수학식 6을 단계(S100)에서 유도된 공선방정식에 대입한다. 단계(S130)에서는 대입된 공선방정식을 결합하고, 이 결과로 주어진 좌측영상점에 대한 우측영상의 에피폴라 특성곡선이 다음과 같은 비선형 방정식으로 표현된다.

상기 수학식 8에서는 주어진 좌측영상점 q의 좌표값에 의하여 정해지는 상수이며,는 우측영상좌표의 선형 혹은 비선형 방정식이다.

상기와 같은 수학식 8를 기초로 본 발명에 따른 에피폴라 특성곡선을 실제로 작도하여 보면 도 3에 도시된 바와 같은 쌍곡선의 형태로 나타난다.

즉, 도 3에 도시된 바와 같이 선형 푸시브룸 센서의 에피폴라 특성곡선은 직선이 아니며, 쌍곡선에 가까운 형태로 나타난다.

이상에서와 같이 본 발명에 따른 선형 푸시브룸 센서의 에피폴라 특성곡선의 대표적인 특징을 정리하면 다음과 같다.

1) 선형 푸시브룸 센서의 에피폴라 특성곡선은 직선의 형태가 아닌 곡선의형태로 나타난다.

2) 영상내의 작은 영역에서는 선형 푸시브룸 센서에서의 에피폴라 특성곡선을 직선으로 가정할 수 있다.

3) 스테레오 영상에서 좌측영상의 한 점 q로부터 우측영상의 에피폴라 특성곡선를 구하고, q의 상응점인 우측영상의 점로부터 좌측영상의 에피폴라 특성곡선을 구하였다고 가정하게 되면,

투시도법에 적용되는 센서에서의 스테레오 영상의 경우와 달리 선형 푸시브룸 센서의 스테레오 영상의 경우는상에 있는 모든 점이으로 매핑되지 않으며,상에 있는 모든 점이로 매핑되지 않게 된다.

4) 상기 3)에서과를 구하였을 경우 좌측영상의 q부근의 작은 영역과 우측영역의부근의 작은영역에 한해서는상의 점이로 매핑되며,상의 점이로 매핑된다고 가정할 수 있다.

이상에서와 같이 본 발명에 의한 선형 푸시브룸센서에서의 에피폴라 특성곡선 추출방법에 따르면 다음과 같은 이점이 있다.

첫째, 종래 투시도법에서 적용되는 센서에서의 에피폴라 특성곡선 추출기법은 선형 푸시브룸 센서에서의 에피폴라 특성곡선 추출기법과 다르므로 본 발명의 푸시브룸 센서에 종래 에피폴라 특성곡선 추출기법이 적용될 수 없다는 것을 알 수 있다.

둘째, 본 발명에서 제시하는 에피폴라 특성곡선 공선방정식에 의해 선형 푸시브룸 센서에서 취득된 스테레오 영상에 대해서도 에피폴라 특성곡선을 추출할 수 있다는 것을 알 수 있다.

셋째, 종래 투시도법에서 적용되는 센서에서 촬영된 스테레오 영상처리를 위하여 적용하던 에피폴라 특성곡선과 관련된 모든 기법을 선형 푸시브룸 센서에서 촬영된 스테레오 영상에 적용할 수 없다는 것을 알 수 있다.

넷째, 선형 푸시브룸 센서에서의 에피폴라 특성곡선을 정확한 수식으로 표현할 수 있으므로 선형 푸시브룸 센서의 스테레오 영상처리가 가능하게 된다.

Claims

영상 내에 각 라인당 혹은 각 부분별로 별도의 초점이 존재하는 촬영방식 또는 주사방식으로 영상을 취득하는 선형 푸시브룸 센서에서 촬영한 스테레오 영상에서의 좌측영상(또는 우측영상점 q')의 한점 q에 해당하는 우측영상(또는 좌측영상의 에피폴라 특성곡선)의 에피폴라 특성곡선을 추출하는 방법에 있어서,

카메라의 좌측 그리고, 우측 위치 및 자세 좌표값을 시간 또는 영상 좌표에 대한 선형 혹은 비선형의 다항식으로 가정하여 공선방정식을 유도하는 단계와;

좌측영상의 초점(S)와 좌측영상의 한점 q를 지나는 직선 Sq의 좌표값을 산출하는 단계;

상기 산출된 직선 Sq의 좌표값을 우측영상점 q'의 공선방적식에 대입하는 단계; 및

상기 산출 결과를 결합하여 좌측영상점 q에 대한 우측영상의 에피폴라 특성곡선방정식을 유도하는 단계로 구성된 것을 특징으로 하는 선형 푸시브룸센서에서 촬영한 스테레오 영상의 에피폴라 특성곡선 추출방법.
청구항 1에 있어서, 상기 좌측영상점에 대한 우측영상의 에피폴라 특성곡선 방정식은 다음과 같은 수학식을 갖는 것을 특징으로 하는 선형 푸시브룸센서에서 촬영한 스테레오 영상의 에피폴라 특성곡선 추출방법.

: 주어진 좌측영상점의 좌표값에 의하여 정해지는 상수

: 우측영상좌표의 선형 혹은 비선형 방정식
청구항 1에 있어서, 상기 에피폴라 특성곡선은 직선의 형태가 아닌 곡선의 형태인 것을 특징으로 하는 선형 푸시브룸센서에서 촬영된 스테레오 영상의 에피폴라 특성곡선 추출방법.
청구항 1에 있어서, 상기 스테레오 영상내의 작은 영역에서는 곡선으로 나타나는 선형 푸시브룸 센서에서의 에피폴라 특성곡선을 직선으로 가정하는 것을 특징으로 하는 선형 푸시브룸센서에서 촬영된 스테레오 영상의 에피폴라 특성곡선 추출방법.
청구항 1에 있어서, 상기 스테레오 영상에서 좌측영상의 한 점 q로부터 우측영상의 에피폴라 특성곡선를 구하고, q의 상응점인 우측영상의 점로부터 좌측영상의 에피폴라 특성곡선을 구하였다고 가정하는 경우

선형 푸시브룸 센서의 스테레오 영상에서상에 있는 모든 점이으로 매핑되지 않으며,상에 있는 모든 점이로 매핑되지 않게 되는 것을 특징으로 하는 선형 푸시브룸센서에서 촬영된 스테레오 영상의 에피폴라 특성곡선 추출방법.
청구항 5에 있어서, 상기과를 구하였을 경우에는 좌측영상의 q부근의 작은 영역과 우측영역의부근의 작은영역에 한해서상의 점이로 매핑되며,상의 점이로 매핑되도록 가정하는 것을 특징으로 하는 선형 푸시브룸센서에서 촬영된 스테레오 영상의 에피폴라 특성곡선 추출방법.