KR20080101998A - 임의 시점 영상 합성 시 영상 보정 방법 및 장치 - Google Patents

Abstract

임의 시점 영상 합성 시 영상 보정 방법 및 장치가 개시된다. 개시된 방법은 서로 다른 카메라로부터 획득한 적어도 두 개의 영상에 대한 기본 행렬을 연산하는 단계(a); 적어도 두 개의 영상 중 하나를 기준 영상으로 설정하고, 상기 기본 행렬 정보에 기초하여 다른 영상과 상기 기준 영상의 에피폴라 선을 평행하게 변환하는 다수의 투영 변환 호모그래피를 산출하는 단계(b); 상기 다수의 투영 변환 호모그래피 중 영상의 왜곡을 최소화하기 위한 투영 변환 호모그래피를 선택하는 단계(c); 및 상기 선택된 투영 변환 호모그래피에 기초하여 기준 영상 이외의 영상을 보정하는 단계(d)를 포함한다. 개시된 방법에 의하면, 변이 추정 시의 연산을 단순화할 수 있으며, 영상의 왜곡이 최소화될 수 있는 장점이 있다

Description

임의 시점 영상 합성 시 영상 보정 방법 및 장치{Method and Device for Rectifying Image in Synthesizing Arbitary View Image}

도 1은 본 발명이 적용되는 임의 시점 영상 합성 방법의 전체적인 흐름을 도시한 순서도.

도 2는 본 발명에서 이용되는 일반적인 에피폴라 기하 구조를 도시한 도면.

도 3은 본 발명이 적용되는 임의 시점 영상 합성을 위한 개념적인 블록도를 도시한 도면.

도 4는 본 발명의 일 실시예에 따른 임의 시점 영상 합성을 위한 영상 보정 장치의 모듈 구성을 도시한 블록도.

도 5는 본 발명의 일 실시예에 따른 영상 보정 방법의 상세한 흐름을 도시한 순서도.

도 6은 본 발명의 일 실시예에 따른 최적의 호모그래피를 선택하는 과정을 도시한 도면.

도 7은 본 발명의 일 실시예에 따른 다수의 호모그래피가 적용된 영상의 예를 도시한 도면.

본 발명은 중간 시점 영상 합성을 위한 영상 보정 방법 및 장치에 관한 것으로서, 더욱 상세하게는 중간 시점 영상 합성을 위해 적어도 둘 이상의 영상에 대한 수평을 맞추기 위한 영상 보정 방법 및 장치에 관한 것이다.

현재 영상 매체 중에서 대표적인 수단은 TV이며, TV의 연구 개발 방향은 소위 HDTV라 하여 기존의 TV 화면의 화면 최적화 및 대형화, 해상도 향상 및 영상의 자연색화를 통해 시청자에게 현실감을 줄 수 있도록 하고 있으나 2차원 영상 표시만 가능하기 때문에 우리가 살고 있는 3차원 세계의 사실적인 전달에는 한계가 있다. 지금까지의 TV는 시청자가 시점을 바꾸는 것이 불가능하였고 오직 하나의 장면밖에 볼 수가 없었다. 이것은 우리가 사는 현실 세계에서 경험하는 것과는 매우 다른 현상이다. 이를 극복하기 위하여 사실적이고 실재감이 풍부한 시각 정보의 구현을 위한 영상 매체 기술로서 3차원 영상 표시 기술이 주목받고 있다.

미래 통신의 최종 목표는 효율적인 개인간의 정보 교환이며 이를 위해서는 3차원 공간상의 실재감을 표현할 수 있는 기술이 필수적으로 요구된다. 이와 같은 개념에 의해 시각 정보는 상대편이 마치 자신의 옆에 존재하는 것과 같은 효과를 내주는 것이 필요하고 따라서 사실적이고 실재감이 풍부한 시각 정보의 구현을 위해 3차원 영상 매체 기술이 주목받고 있다. 즉 3차원 영상 매체 기술이란 인간이 현실 세계에서 느끼는 자연스럽고 사실적인 감각을 TV등과 같은 영상 매체를 통해 서도 그대로 느낄 수 있도록 하는데 그 목적이 있다. 최근 의학, 교육, 컴퓨터 그래픽, 게임, 인공현실감등 여러 분야에 3차원 영상 기술이 실용화되기 시작한 것은 표시 디바이스의 현저한 진보와 디지털 영상처리 기술, 컴퓨터 그래픽 영상, 인간의 입체시에 대한 연구 등의 진보에 크게 의존하고 있다.

여러 3차원 영상 매체 기술 중에서 먼 곳의 장면의 시점을 자유롭게 바꾸면서 시청할 수 있는 TV인 FTV(Free viewpoint TV: 자유 시점 TV)에 대한 연구가 이루어지고 있으며, FTV에 투영된 영상은 인위적이고 부자연스러운 부분이 없는 사진과 같은 매끄러운 영상을 이어야 거부감 없이 시청 가능하다.

FTV와 같은 임의의 시점에 대한 영상을 생성하기 위해 카메라로부터 획득된 영상의 합성이 이루어지며, 임의 시점에서의 영상을 합성하기 위한 다양한 알고리즘이 제시되어 있다.

임의 시점 영상 생성을 위한 영상 합성 시, 예를 들어 2개의 카메라로부터 획득된 스테레오 영상의 경우, 카메라가 평행하지 않으면 두 영상의 변이 정보가 복잡해지는 등 많은 문제점이 발생한다.

이를 위해, 카메라로부터 획득된 영상의 수평 정보를 맞추는 에피폴라 영상 보정(Image Rectification)이 이루어진다.

에피폴라 영상 보정은 카메라 광축이 평행하지 않은 경우의 영상들을 단순 기하학 구조의 영상들로 변환해주는 것을 의미한다. 여기서 단순 기하학 구조는 영상의 에피폴라선이 영상의 가로 스캔 라인과 평행한 상태 즉 에피폴라선이 수평한 상태로 변이 추정(Disparity Estimation) 시의 계산량을 감소시키고 계산 과정 단 순화 및 정합 오차를 줄이기 위한 처리 절차이다.

종래에 있어서, 에피폴라 보정은 2개의 영상을 보정하기 위한 호모그래피를 각각 구하였는 바, 둘 이상의 영상을 동시에 보정하는 것은 불가능한 문제점이 있었다. 또한, 보정 과정에서 영상의 크기가 지나치게 커지거나 영상이 심하게 왜곡되는 문제점이 발생하였다.

상기한 바와 같은 문제점을 해결하기 위해, 본 발명에서는 변이 추정 시의 연산을 단순화할 수 있는 임의 시점 영상 합성 시의 영상 보정 방법 및 장치를 제안하고자 한다.

본 발명의 다른 목적은 영상 왜곡이 최소화될 수 있는 임의 시점 영상 합성 시의 영상 보정 방법 및 장치를 제안하는 것이다.

본 발명의 또 다른 목적은 임의 시점 영상 합성 시 하나의 이미지만을 보정함으로써 영상 합성이 가능한 보정 방법 및 장치를 제안하는 것이다.

본 발명의 다른 목적들은 하기의 실시예를 통해 당업자가 도출할 수 있을 것이다.

상술한 바와 같은 목적을 달성하기 위해, 본 발명의 일 측면에 따르면, 서로 다른 카메라로부터 획득한 적어도 두 개의 영상에 대한 기본 행렬을 연산하는 단 계(a); 적어도 두 개의 영상 중 하나를 기준 영상으로 설정하고, 상기 기본 행렬 정보에 기초하여 다른 영상과 상기 기준 영상의 에피폴라 선을 평행하게 변환하는 다수의 투영 변환 호모그래피를 산출하는 단계(b); 상기 다수의 투영 변환 호모그래피 중 영상의 왜곡을 최소화하기 위한 투영 변환 호모그래피를 선택하는 단계(c); 및 상기 선택된 투영 변환 호모그래피에 기초하여 기준 영상 이외의 영상을 보정하는 단계(d)를 포함하는 임의 시점 영상 합성 시 영상 보정 방법이 제공된다.

상술한 방법은 상기 적어도 두개의 영상에 대한 에피폴을 연산하는 단계를 더 포함하며, 상기 단계(c)의 투영 변환 호모그래피 산출 시 상기 연산된 에피폴을 이용한다.

상기 단계(c)는 상기 기준 영상과 상기 기준 영상 이외의 다른 영상간의 대응점의 거리를 최소화하는 호모그래피를 선택하는 단계를 포함할 수 있다.

상기 에피폴은 상기 기본 행렬 정보를 이용하여 연산될 수 있다.

카메라로부터 서로 다른 시점에서 두 개의 영상이 획득될 경우, 제1 영상에 대한 에피폴(e) 및 제2 영상에 대한 에피폴(e')은 다음의 수학식에 연산된다.

위 수학식에서 F는 기본행렬이다.

상기 단계(b)의 다수의 투영 변환 호모그래피는 다음의 수학식에 의해 산출된다.

위 수학식에서, e'는 에피폴이고, F는 기본 행렬이며, α는 detH가 0이 아닌 조건을 만족하는 임의의 3개의 요소로 구성된 3Χ1 벡터이다.

상기 단계(c)의 투영 변환 호모그래피 선택은 다음의 수학식과 같은 최소 제곱 평가에 의해 선택된다.

위 수학식에서 H는 호모그래피이고, e'는 에피폴이며, m_i 및 m_i'두 영상의 i번째 대응점이다.

본 발명의 다른 측면에 따르면, 방법을 수행하기 위한 명령어들의 조합이 유형적으로 구현되어 있으며, 디지털 데이터 처리 장치에 의해 판독 가능한 프로그램을 기록한 기록 매체가 제공된다.

본 발명의 또 다른 측면에 따르면, 서로 다른 카메라로부터 획득한 적어도 두개의 영상에 대한 기본 행렬을 연산하는 기본 행렬 연산부; 적어도 두 개의 영상 중 하나를 기준 영상으로 설정하고, 상기 기본 행렬 정보에 기초하여 다른 영상과 상기 기준 영상의 에피폴라 선을 평행하게 변환하는 다수의 투영 변환 호모그래피를 산출하는 호모그래피 산출부; 상기 다수의 투영 변환 호모그래피 중 영상의 왜곡을 최소화하기 위한 투영 변환 호모그래피를 선택하는 호모그래피 선택부; 및 상기 선택된 투영 변환 호모그래피에 기초하여 기준 영상 이외의 영상을 보정하는 영상 보정부를 포함하는 임의 시점 영상 합성 시 영상 보정 장치가 제공된다.

이하에서, 첨부된 도면을 참조하여 본 발명의 일 실시예에 따른 임의 시점 영상 합성을 위한 영상 보정 방법 및 장치를 상세히 설명한다.

도 1은 본 발명이 적용되는 임의 시점 영상 합성 방법의 전체적인 흐름을 도시한 순서도이다.

다수의 시점에서 촬영한 다시점 영상이 획득되더라도, 데이터량의 증가와 시점간의 불연속성의 존재가 문제가 되기 때문에 임의로 획득한 제한된 수의 영상들로부터 영상들 사이의 시점 영상을 생성할 필요가 있다.

도 1을 참조하면, 우선 다시점 영상을 카메라로부터 획득하는 과정이 수행된다(S100). 이때 카메라의 수는 필요에 따라 다양하게 설정될 수 있으며, 2 개의 카메라로부터 스트레오 영상 정보를 획득할 수도 있으며, 보다 많은 수의 카메라로부터 영상을 획득할 수도 있을 것이다. 설명의 편의를 위해, 본 실시예에서는 2개의 스테레오 영상이 획득되는 경우를 주요한 예로 하여 설명하기로 한다.

카메라를 통해 획득된 둘 이상의 영상은 수평 정보가 일치하지 않는 것이 일반적이며, 수평 정보가 일치하지 않을 경우, 두 영상은 양 방향으로 변이가 존재하게 된다. 이와 같은 양방향 변이의 존재는 변이 추정 시 연산의 복잡화를 가져올뿐만 아니라 적절한 영상 합성이 이루어지지 않는 문제점이 있는 바, 획득된 영상에 대해 수평 정보를 일치시키는 영상 보정 과정이 수행된다(S102).

수평 정보를 일치시키는 보정 이외에도 영상의 색감 또는 사이즈 등을 맞추는 보정이 함께 수행될 수도 있으며, 이와 같은 보정은 카메라 파라미터 정보를 이용하여 수행될 수 있을 것이다.

영상 보정이 완료되면, 임의 시점의 영상 합성을 위해 복수의 영상들의 대응점을 정확하게 찾는 변이 추정 과정이 수행된다(S104). 상술한 영상 보정을 통해 평행한 구조의 영상으로 영상들이 보정될 경우, 한쪽 방향으로만 변이 정보를 가지게 된다.

영상 합성 과정에서 영상으로부터 물체까지의 거리를 측정하는 깊이 추정 과정이 필요하며, 이러한 깊이 추정은 변이 추정을 통해 이루어질 수 있다.

변이 추정은 두 영상 내에서 동일한 점을 찾아 그 변이를 벡터로 표현하는 과정이며, 정확한 깊이 추정을 위해서 보다 세밀하고 확실한 두 영상간의 정합점을 찾는 것이 중요하다.

변이 추정에 대해서는 다양한 알고리즘이 공지되어 있는 바, 공지된 변이 추정을 알고리즘을 이용하여 변이 추정이 이루어질 수도 있다. 본 발명의 더욱 바람직한 실시예에 따르면, 정확한 대응점인지를 확인하기 위해 특징점들에 가중치를 두어 영역을 분할해가면서 잘못된 변이의 생성을 막는 영역분할 알고리즘이 사용될 수 있다.

변이 추정이 완료되면, 임의 시점에 대한 영상 합성 과정이 수행된다(S106). 스테레오 카메라 시스템일 경우, 중간 영상 내의 변이가 존재하는 영역은 좌우 영상으로부터 거리에 비례하는 가중 평균 보간법을 통해 영상 합성이 가능하다. 그러나, 두 영상 중 어느 한 영상에만 존재하는 영역, 즉 가려진 영역은 변이 정보 부재로 인해 변이 정보를 통해 합성을 할 수 없다. 이 경우에는 반대 방향으로 찾은 변이로부터 생성한 중간 영상을 통해 보상을 수행할 수 있다.

임의 시점 영상 합성이 완료되면, 역보정 과정을 통해 사용자가 원하는 시점에 대한 영상을 생성한다(S108).

도 3은 본 발명이 적용되는 임의 시점 영상 합성을 위한 개념적인 블록도를 도시한 도면이다.

도 3을 참조하면, 카메라로부터 획득된 좌영상(300) 및 우영상(302)이 영상 보정부(308)로 입력된다.

본 발명의 일 실시예에 따르면, 대응점 정보(304) 및 기본 행렬(306)이 영상 보정부에 입력되며, 영상 보정부(308)는 대응점 정보 및 기본 행렬을 이용하여 좌영상 및 우영상의 수평을 일치시키는 영상 보정을 수행한다.

종래에 있어서, 2개의 영상에 대한 수평을 일치시키는 보정은 에피폴라 기하에서 에피폴을 무한대로 투영시키는 방식을 주로 사용하였으며, 이와 같은 방식은 좌영상 및 우영상 모두를 변환하는 과정이 요구되었다.

그러나, 본 발명의 바람직한 실시예에 따르면, 좌영상 및 우영상 중 어느 한 영상을 기준 영상으로 하여 하나의 영상만을 보정하는 보정 방식이 제안된다. 보다 상세한 보정 방식은 별도의 도면을 참조하여 설명하기로 한다.

좌영상을 기준 영상으로 하여 영상 보정을 수행한 경우, 영상 보정부(308)는 좌영상 및 보정된 우영상을 출력하며, 영상 합성부(310)는 보정된 영상 정보를 이용하여 임의 시점에 대한 영상 합성을 수행한다.

중간 영상 합성이 이루어지면, 역보정부(312)는 합성된 영상에 대한 역보정을 수행하며, 이를 통해 임의 시점에 대한 영상(314)이 출력된다.

본 발명의 일 실시예에 따른 영상 보정을 상세히 설명하기에 앞서 에피폴라 기하에 대해 먼저 살펴보기로 한다.

도 2는 본 발명에서 이용되는 일반적인 에피폴라 기하 구조를 도시한 도면이다.

두 개의 카메라에서 얻어진 영상 사이의 관계는 에피폴라 기하(Epipolar Geometry)로 설명된다.

도 2를 참조하면, 공간상의 임의의 점 M을 서로 다른 위치의 카메라의 영상 평면에 투영하면 각 영상 평면의 일치점인 m 및 m'에 투영된다. 도 2에서, 공간상의 임의의 점 M과 두 개의 카메라가 이루는 삼각 형상의 평면이 에피폴라 평면으로 정의된다.

또한, 에피폴라 평면과 영상 평면이 교차되는 선을 에피폴라 선이라고 하며, 좌측의 카메라의 영상에 의핸 좌측 에피폴라 선 및 우측의 카메라의 영상에 의한 우측 에피폴라 선이 형성된다.

두 개의 카메라의 중심축을 연결하는 선을 기저선이라고 하며, 이 기저선과 각 영상 평면과의 교점을 에피폴이라고 정의한다.

만일, 두 카메라의 중심축을 연결하는 기저선이 두 영상 평면과 평행할 경우, 두 에피폴은 무한 공간상에 높이게 되며, 두 영상에 대응되는 에피폴라 선은 서로 평행하게 된다.

두 개의 에피폴이 무한 공간상에 높여지는, 즉 두 영상에 대응되는 에피폴라 선이 평행할 경우, 두 영상은 수평하게 되며, 이러한 원리를 이용하여 두 영상의 수평을 맞추기 위한 보정이 수행된다.

본 발명의 일 실시예에 따른 영상 보정을 설명하기에 앞서, 종래의 영상 보정 방식에 대해 더욱 상세히 살펴보기로 한다.

종래의 영상 보정 방식들은 에피폴라 선들을 평행하기 위해 2차원 투영 변환 행렬 호모그래피 H와 H⁺를 두 영상에 적용하였다. 투영 변환 H는, 앞서 도 2를 참조하여 설명한 바와 같이, 에피폴을 무한대로 매핑시키는 역할을 한다.

에피폴라 선이 x축과 평행하게 변형되는 것은 에피폴이 무한대의 점 (1,0,0)^T로 매팅되는 것과 같은 것을 의미한다.

영상의 중심을 u₀, 에피폴을 e라고 할 때, 투영 변환 행렬 호모그래피 H는 다음의 수학식 1로부터 구할 수 있다.

위 수학식 1에서, T는 u₀를 원점으로 이동시키고, R은 원점에 대하여 에피폴 e를 (f,0,1)^T로 회전시키며, G는 (f,0,1)T를 무한대 (f,0,0)^T로 매핑시켜야 하므로 G는 다음의 수학식 2와 같은 형태가 된다.

또 다른 영상에 적용할 투영 변환 행렬 H⁺을 찾기 위해 다음의 수학식 3을 최소로 만드는 투영변환 행렬 H⁺를 연산한다.

구해진 각각의 투영 변환 호모그래피를 두 영상에 적용하게 되면 선형 평면 보정을 수행하는 것이 되어 두 영상 사이의 모든 에피폴라 선을 일치시키고 평행하게 만들 수가 있기 때문에 두 영상은 변이가 x축 방향으로만 생기도록, 즉 y축 방향의 변이는 0이 되도록 보정된다. 그러나, 이러한 호모그래피를 각각의 영상에 적 용하게 되면 에피폴라 선들을 평행하게 만드는 과정에서 영상의 크기가 지나치게 커질 뿐만 아니라 영상이 심하게 왜곡될 수 있고, 이러한 방식은 두 영상을 모두 변형시키기 때문에 두장 이상의 영상을 동시에 보정하는 것은 불가능하다.

도 4는 본 발명의 일 실시예에 따른 임의 시점 영상 합성을 위한 영상 보정 장치의 모듈 구성을 도시한 블록도이다.

도 4를 참조하면, 본 발명의 일 실시예에 따른 임의 시점 영상 합성을 위한 영상 보정 장치는 기본 행렬 연산부(400), 호모그래피 연산부(402), 호모그래피 선택부(404) 및 영상 보정부(406)를 포함할 수 있다.

기본 행렬 연산부(400)는 에피폴 기하 구조에서 두 영상에 대한 기본 행렬을 연산하는 기능을 한다. 에피폴라 기하 구조에서 공간상의 임의의 점 M이 투영된 m 및 m'는 에피폴라 구속 조건(constraint)에 따라 에피폴라 선상에 존재하며, 기본 행렬(Fundamental Matrix)은 이에 대한 대수적 표현을 의미한다.

본 발명의 바람직한 실시예에 따르면, 종래의 영상 보정 방식과는 달리, 기본 행렬을 영상 보정에 이용한다. 기본 행렬은 차후 투영 변환 행렬 호모그래피를 연산하는데 파라미터로 사용된다.

이러한 기본 행렬은 공지된 다양한 알고리즘을 통해 연산할 수 있는 바, 이에 대한 상세한 설명은 생략하기로 한다.

호모그래피 연산부(402)는 영상의 대응점 m 및 m' 사이의 투영 대응 관계를 정의하는 호모그래피 H를 연산하며, 호모그래피 연산 시 기본 행렬 연산부(400)에서 연산한 기본 행렬을 이용한다.

호모그래피 연산부(402)는 좌영상과 우영상 중 어느 한 영상에 대한 호모그래피를 연산하며, 나머지 한 영상은 기준 영상으로 설정된다. 즉, 두 영상 중 하나의 영상에 대해서만 보정이 이루어지는 바, 두 장 이상의 영상을 동시에 보정하는 것이 가능하다.

호모그래피 연산부(402)는 특정 영상의 모든 점에 대해 호모그래피를 적용하였을 때 두 영상의 에피폴라 선들이 평행하고 같은 위치에 에피폴라 선들을 가지는 다수의 호모그래피를 연산한다. 이러한 조건을 만족시키는 호모그래피는 다수개(이론적으로 무한대)이며, 본 발명의 일 실시예에 따르면, 호모그래피 연산부(402)는 이러한 조건을 만족시키는 호모그래피에 대한 관계식을 설정한다.

호모그래피 선택부(406)는 상술한 조건을 만족하는 다수의 호모그래피 중 영상의 왜곡을 최소화하는 최적의 호모그래피를 선택하는 기능을 한다. 본 발명의 바람직한 실시예에 따르면, 호모그래피 적용 시 기준 영상의 점 m과 다른 영상에서의 대응점 m'가 최소가 되는 호모그래피를 선택한다. 그러나, 본 발명에서 호모그래피 선택이 이에 한정되는 것은 아니며, 케이스에 따라 다른 방식으로 호모그래피를 선택할 수 있다는 점은 당업자에게 있어 자명할 것이다.

영상 보정부(408)는 선택된 호모그래피를 적용하여 영상을 보정한다.

도 5는 본 발명의 일 실시예에 따른 영상 보정 방법의 상세한 흐름을 도시한 순서도이다.

도 5를 참조하면, 에피폴 기하 구조에서 두 영상에 대한 기본 행렬을 연산한다(S500). 기본 행렬은 두 영상의 대응점으로부터 연산될 수 있으며, 다양한 알고 리즘이 공지되어 있다.

기본 행렬이 연산되면, 에피폴을 연산하는 과정을 수행한다(S502). 첫번째 영상의 점 m에 기본 행렬 F를 적용한 것은 두번째 영상에서의 m의 대응점을 통과하는 에피폴라 선을 의미한다.

모든 에피폴라 선은 에피폴에서 교차하기 때문에 에피폴라 선상에 그 영상의 에피폴이 존재한다. 따라서, 에피폴은 다음의 수학식 4 및 수학식 5를 만족하며, 연산된 기본 행렬을 이용하여 수학식 4 및 수학식 5에 의해 연산될 수 있다.

위 수학식에서 e'는 제1 영상의 에피폴이고 e는 제2 영상의 에피폴이다.

에피폴이 연산되면, 영상의 대응점 m,m' 사이에 투영 대응관계를 정의하는 호모그래피 H를 연산한다(S504).

한 쌍의 영상에 대해 기본 행렬 F와 대응점 m,m'가 주어졌을 때 호모그래피 H는 m'를 Hm'에 의해 이동시켜 에피폴라 선 Fm' 상에 놓이게 만든다. 전술한 바와 같이, 호모그래피는 적용 시 두 영상의 에피폴라 선들을 모두 평행하게 하고 같은 위치에 에피폴을 가지게 하는 바, He'=e와 H^-1e=e'만족하게 된다. 따라서, 두 영상간의 에피폴라 기하를 만족시키는 호모그래피에 대한 관계식은 다음의 6과 같이 정의될 수 있다.

위 수학식 6에서, α는 detH가 0이 아닌 조건을 만족하는 임의의 3개의 요소로 구성된 3Χ1 벡터이다. 이는 기본 행렬과 호환 가능한 호모그래피가 3개의 변수로 구성되어 있다는 것을 의미한다.

이 3개의 변수는 3차원상의 공간 평면을 정의하는 것으로, 호모그래피는 두 영상 사이의 3차원 공간평면에 점을 투용하는 것으로 간주되며, 이 3개의 추가적인 변수는 영상 내 모든 에피폴라 선에 적용되는 1차원 투영 변환을 의미한다.

수학식 6을 만족하는 다수의 호모그래피가 구해질 수 있으며, 영상 왜곡을 최소화하기 위한 호모그래피를 선택하는 과정이 수행된다(S506).

도 6은 본 발명의 일 실시예에 따른 최적의 호모그래피를 선택하는 과정을 도시한 도면이다.

도 6에 도시된 바와 같이, 수학식 6을 만족하는 호모그래피를 적용하기 전 두 영상의 에피폴라 선은 서로 평행하지 않은 관계에 있다.

어느 한 영상의 호모그래피가 적용될 경우, 도 t에 도시돈 바와 같이, 두 영 상의 에피폴라 선은 평행하게 되며, 이를 만족하는 호모그래피는 다수개가 존재한다.

도 6의 세번째 단계에 도시되어 있는 바와 같이, 평행한 에피폴라 선상에 존재하는 두 개의 대응점간의 거리가 최소인 호모그래피가 선택된다.

도 7은 본 발명의 일 실시예에 따른 다수의 호모그래피가 적용된 영상의 예를 도시한 도면이다.

도 7에 도시된 바와 같이, 가능한 호모그래피가 적용되더라도 호모그래피에 따라 영상의 왜곡 정도가 달라지는 것을 확인할 수 있다. 도 7에서, 4번째 영상이 그 왜곡 정도가 최소이며, 이때 대응점간의 거리는 최소가 된다.

왜곡을 최소화하기 위한 호모그래피를 찾기 위해, 대응점 사이에 가운시안 분포의 오차가 있다고 가정할 때, n개의 점에 대한 다음의 수학식 7과 같은 최소 제곱 평가(Least Squares Ciriterion)을 최소화 시켜야 한다.

위 수학식 7에서, d_E는 수학식 6에서 정의한 호모그래피를 적용한 유클리디안 거리를 의미한다.

[e']ΧF를 H로 바꾸면 다음의 수학식 8과 같이 표현할 수 있으며, 유클리디안 거리를 수학적 거리로 대신하게 되면, 대응점 m/m'에 대해 다음의 수학식 9와 같이 k∈(1,2)인 선형식을 유도할 수 있다.

위 수학식8 및 수학식9에서 밑첨자는 벡터에서 n번째 요소를 나타내고, h_n은 H의 n번째 열을 나타내며, 이와 같은 식이 여러 개 생기게 되면, Xa=b와 같은 구조의 선형 시스템으로 나타낼 수 있으며, 표준 선형 제골 기술(Standard linear squares technique)을 이용하여 풀 수 있다.

이상 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

이상에서 설명한 바와 같이, 본 발명의 일 실시예에 따르면, 변이 추정 시의 연산을 단순화할 수 있으며, 영상의 왜곡이 최소화될 수 있는 장점이 있다.

Claims (12)

1. 서로 다른 카메라로부터 획득한 적어도 두 개의 영상에 대한 기본 행렬을 연산하는 단계(a);

   적어도 두 개의 영상 중 하나를 기준 영상으로 설정하고, 상기 기본 행렬 정보에 기초하여 다른 영상과 상기 기준 영상의 에피폴라 선을 평행하게 변환하는 다수의 투영 변환 호모그래피를 산출하는 단계(b);

   상기 다수의 투영 변환 호모그래피 중 영상의 왜곡을 최소화하기 위한 투영 변환 호모그래피를 선택하는 단계(c); 및

   상기 선택된 투영 변환 호모그래피에 기초하여 기준 영상 이외의 영상을 보정하는 단계(d)를 포함하는 것을 특징으로 하는 임의 시점 영상 합성 시 영상 보정 방법.
2. 제1항에 있어서,

   상기 적어도 두개의 영상에 대한 에피폴을 연산하는 단계를 더 포함하며, 상기 단계(c)의 투영 변환 호모그래피 산출 시 상기 연산된 에피폴을 이용하는 것을 특징으로 하는 임의 시점 영상 합성 시 영상 보정 방법.
3. 제1항에 있어서,

   상기 단계(c)는 상기 기준 영상과 상기 기준 영상 이외의 다른 영상간의 대 응점의 거리를 최소화하는 호모그래피를 선택하는 단계를 포함하는 것을 특징으로 하는 임의 시점 영상 합성 시 영상 보정 방법.
4. 제1항에 있어서,

   상기 에피폴은 상기 기본 행렬 정보를 이용하여 연산되는 것을 특징으로 하는 임의 시점 영상 합성 시 영상 보정 방법.
5. 제2항에 있어서,

   카메라로부터 서로 다른 시점에서 두 개의 영상이 획득될 경우,

   제1 영상에 대한 에피폴(e) 및 제2 영상에 대한 에피폴(e')은 다음의 수학식에 연산되는 것을 특징으로 하는 임의 시점 영상 합성 시 영상 보정 방법.

   

   

   위 수학식에서 F는 기본행렬임.
6. 제1항에 있어서,

   상기 단계(b)의 다수의 투영 변환 호모그래피는 다음의 수학식에 의해 산출되는 것을 특징으로 하는 임의 시점 영상 합성 시 영상 보정 방법.

   

   위 수학식에서, e'는 에피폴이고, F는 기본 행렬이며, α는 detH가 0이 아닌 조건을 만족하는 임의의 3개의 요소로 구성된 3Χ1 벡터임.
7. 제6항에 있어서,

   상기 단계(c)의 투영 변환 호모그래피 선택은 다음의 수학식과 같은 최소 제곱 평가에 의해 선택되는 것을 특징으로 하는 임의 시점 영상 합성 시 영상 보정 방법.

   

   위 수학식에서 H는 호모그래피이고, e'는 에피폴이며, m_i 및 m_i'두 영상의 i번째 대응점임.
8. 제1항 내지 제7항 중 어느 한 항의 방법을 수행하기 위한 명령어들의 조합이 유형적으로 구현되어 있으며, 디지털 데이터 처리 장치에 의해 판독 가능한 프로그램을 기록한 기록 매체.
9. 서로 다른 카메라로부터 획득한 적어도 두개의 영상에 대한 기본 행렬을 연산하는 기본 행렬 연산부;

   적어도 두 개의 영상 중 하나를 기준 영상으로 설정하고, 상기 기본 행렬 정보에 기초하여 다른 영상과 상기 기준 영상의 에피폴라 선을 평행하게 변환하는 다수의 투영 변환 호모그래피를 산출하는 호모그래피 산출부;

   상기 다수의 투영 변환 호모그래피 중 영상의 왜곡을 최소화하기 위한 투영 변환 호모그래피를 선택하는 호모그래피 선택부; 및

   상기 선택된 투영 변환 호모그래피에 기초하여 기준 영상 이외의 영상을 보정하는 영상 보정부를 포함하는 것을 특징으로 하는 임의 시점 영상 합성 시 영상 보정 장치.
10. 제9항에 있어서,

    상기 적어도 두개의 영상에 대한 에피폴을 연산하는 에피폴 연산부를 더 포함하는 것을 특징으로 하는 임의 시점 영상 합성 시 영상 보정 장치.
11. 제9항에 있어서,

    상기 호모그래피 선택부는 상기 기준 영상과 상기 기준 영상 이외의 다른 영상간의 대응점의 거리를 최소화하는 호모그래피를 선택하는 단계를 포함하는 것을 특징으로 하는 임의 시점 영상 합성 시 영상 보정 장치
12. 제10항에 있어서,

    상기 에피폴 연산부는 상기 기본 행렬 정보를 이용하여 상기 에피폴을 연산하며, 상기 호모그래피 산출부는 상기 에피폴을 이용하여 다수의 투영 변환 호모그래피를 산출하는 것을 특징으로 하는 임의 시점 영상 합성 시 영상 보정 장치.

Images