KR101004758B1 - 플랜뷰를 이용한 멀티 퍼스펙티브 영상 생성방법 - Google Patents

Abstract

본 발명은 영상 처리방법에 관한 것으로, 더욱 자세하게는 다중시점을 설정하여 영상에 존재하는 대상물의 정확한 영상화가 가능한 플랜뷰를 이용한 멀티 퍼스펙티브 영상 생성방법에 관한 것이다.

본 발명은, 연속 촬영된 이미지인 영상 시퀀스를 이용하여, 대상물까지의 거리정보를 포함한 플랜뷰(planview)를 생성하는 플랜뷰 생성단계; 및 상기 플랜뷰의 거리정보를 이용하여 산출된 상기 대상물의 깊이(depth) 변화시점에 따라 가상 카메라의 레이(ray)를 퍼스펙티브(perspective) 형태로 배치하고, 배치된 가상 카메라의 레이에 따라 상기 영상 시퀀스로부터 추출된 영상 스트립을 누적하여 멀티 퍼스펙티브 영상을 생성하는 멀티 퍼스텍티브 영상 생성단계;를 포함한다.

가상현실, 다중 원근 영상, 멀티 퍼스펙티브, 플랜뷰, 깊이변화

Description

플랜뷰를 이용한 멀티 퍼스펙티브 영상 생성방법{Method for multi-perspective image generation using planview}

본 발명은 영상 처리방법에 관한 것으로, 더욱 자세하게는 다중시점을 설정하여 영상에 존재하는 대상물의 정확한 영상화가 가능한 플랜뷰를 이용한 멀티 퍼스펙티브 영상 생성방법에 관한 것이다.

근래에 점점 정보화사회가 되어 감에 따라 가상 현실(virtual reality)에 관한 관심이 집중되고 있다.

가상현실이란, 어떤 특정한 환경이나 상황을 컴퓨터로 만들어서, 그것을 사용하는 사람이 마치 실제 주변 상황·환경과 상호작용을 하고 있는 것처럼 만들어 주는 인간-컴퓨터 사이의 인터페이스를 말한다.

이러한 가상현실을 구현함에 있어서, 사용자를 실제 주변상황과 같이 느낄 수 있도록 하기 위해서는 무엇보다 현실적인 시각표현이 중요하다.

종래에는 아파트 단지와 같은 대형 구조물을 영상화하기 위해 스틸카메라를 이용하여 촬영된 연속이미지나 혹은 비디오카메라를 이용하여 연속촬영된 동영상을 연결하여 파노라마(panorama)로 재구성하는 방식을 이용하였다.

그러나 이와 같은 종래의 방식에서는 고정된 하나의 시점을 기준으로 단순히 여러 장의 이미지를 이어놓은 것에 불과하여, 영상의 시점과 대상의 형체 특성에 따라 일부분이 가려지는 문제점이 있었으며, 이로 인해, 영상 내의 구조물에서 깊이(depth)가 다른 부분을 표현하기 어려워 사용자가 대상의 외형을 용이하게 인지하지 못하게 되는 단점이 있었다.

본 발명은 상기의 문제점을 해결하기 위한 것으로, 대상의 형체 특성에 따라 대상의 일부분이 영상평면 상에서 가려지지 않고, 사용자가 영상을 통해 대상의 깊이변화를 용이하게 알 수 있는 플랜뷰를 이용한 멀티 퍼스펙티브 영상 생성방법을 제공하는데 그 과제가 있다.

위와 같은 과제를 해결하기 위한 본 발명은, 연속 촬영된 이미지인 영상 시퀀스를 이용하여, 대상물까지의 거리정보를 포함한 플랜뷰(planview)를 생성하는 플랜뷰 생성단계; 및 상기 플랜뷰의 거리정보를 이용하여 산출된 상기 대상물의 깊이(depth) 변화시점에 따라 가상 카메라의 레이(ray)를 퍼스펙티브(perspective) 형태로 배치하고, 배치된 가상 카메라의 레이에 따라 상기 영상 시퀀스로부터 추출된 영상 스트립을 누적하여 멀티 퍼스펙티브 영상을 생성하는 멀티 퍼스텍티브 영상 생성단계;를 포함한다.

본 발명에 따르면, 거리정보를 포함한 플랜뷰를 이용하여 대상의 깊이 변화시점을 산출하고, 그 결과에 따라 레이를 퍼스펙티브 형태로 배치하여 영상 스트립을 구성하도록 함으로써, 대상의 영상평면에서 형체 특성에 따라 일부분이 가려지지 않고, 사용자가 영상을 통해 대상의 깊이변화를 용이하게 알 수 있는 장점이 있다.

이하 첨부된 도면을 참조로 본 발명의 바람직한 실시예를 상세히 설명하기로 한다. 이에 앞서, 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다.

따라서, 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과할 뿐이고 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.

이하에서는 도 1을 참조하여 본 발명의 바람직한 일 실시예에 따른 플랜뷰를 이용한 멀티 퍼스펙티브 영상 생성방법을 설명하도록 한다. 도 1은 본 발명의 바람직한 일 실시예에 따른 플랜뷰를 이용한 멀티 퍼스펙티브 영상 생성방법의 흐름도이다.

도 1에 따르면 본 발명은 크게 두 단계로 설명될 수 있는데, 연속 촬영된 이미지인 영상 시퀀스를 이용하여, 대상물까지의 거리정보를 포함한 플랜뷰(planview)를 생성하는 플랜뷰 생성단계(S101)와 상기 플랜뷰의 거리정보를 이용하여 산출된 상기 대상물의 깊이(depth) 변화시점에 따라 가상 카메라의 레이(ray)를 퍼스펙티브(perspective) 형태로 배치하고, 배치된 가상 카메라의 레이에 따라 상기 영상 시퀀스로부터 추출된 영상 스트립을 누적하여 멀티 퍼스펙티브 영상을 생성하는 멀티 퍼스텍티브 영상 생성단계(S102)가 바로 그것이다.

좀 더 자세히 설명하면, 플랜뷰 생성단계(S101)는 도 1에 도시된 바와 같이 시퀀스 매칭단계(S102), 재구성 단계(S104), 투영행렬 산출단계(S016) 및 파사드평면 생성단계(S108)로 구성될 수 있다.

시퀀스 매칭단계(S102)는, 선행하여 수행된 영상 시퀀스 획득 단계(S100)를 통해 도 2에 도시된 바와 같이 획득된 영상 시퀀스로부터 대상물(도 2에서는 건축구조물)의 특징점을 찾아, 상기 특징점 간의 매칭을 수행한다.

여기서, 상기 영상 시퀀스는 스틸카메라를 이용하여 촬영된 연속이미지나 혹은 비디오카메라를 이용하여 연속촬영된 동영상을 시계열적으로 분할한 이미지를 이용할 수 있다.

도 3에는 영상 내에서 찾아진 대상물의 특징점을 표시한 일 예가 도시되어 있으며, 도 4에는 도 3과 같이 찾아진 대상물의 특징점을 다수의 영상 시퀀스 상에서 매칭시키는 일 예가 도시되어 있다.

이렇게 이루어진 매칭의 결과는 도 5에서와 같이 투영적 재구성(projective reconstruction)을 수행하는 재구성 단계(S104)에 이용되며, 이후 투영적 재구성의 결과를 도 6에서와 같이 자가보정(self-calibration)하여 투영행렬(projection matrix)을 산출하는 투영행렬 산출단계(S106)가 수행된다.

여기서, S102 내지 S106단계는 SFM(Stucture From Motion)알고리즘으로 널리 알려진 기술을 응용한 것이므로 더 이상의 상세한 설명은 생략하기로 한다.

다음으로, 본 발명은 S106단계에서 산출된 상기 투영행렬을 이용하여 도 7과 같이 다수의 포인트로 이루어진 대상물의 파사드(facade)평면을 생성한다(S108).

파사드(facade)평면은 대상물의 특징적 외형을 나타내는 것으로, 이러한 파사드평면의 포인트를 연결하여 이상적으로 표현한 것이 바로, 도 8에 도시된 것과 같은 플랜뷰(planview)이다.

여기서, 파사드 평면을 통해 플랜뷰를 생성하기 전에, S100단계에서 획득된 이미지를 이용하여 대상물의 3차원 플레인(plane)을 정의한 후, 파사드 평면을 상기 3차원 플레인에 적용시킴으로써 대상물의 정확한 깊이정보를 반영한 플랜뷰를 생성할 수 있도록 하는 것이 바람직하다.

도 8에 도시된 바와 같이 플랜뷰는 대상물의 특징적 외형을 나타내고 있으므로, 직선으로 형성되는 촬영위치(도 10의 camera trajectory)로부터 대상물 요소요소까지의 거리정보를 포함하게 된다.

본 발명은 이러한 플랜뷰를 이용하여 대상물의 외형 특성을 분석하며, 이러한 특성에 따라 차후 설명될 레이(ray)의 방향을 결정하게 된다.

한편, 본 발명은 S101단계를 통해 생성된 플랜뷰를 이용하여 멀티 퍼스펙티브 영상을 생성하는데(S111), 이를 위해서 가장 먼저 플랜뷰의 깊이변화 시점을 산출한다(S112).

이때, 깊이변화 시점의 산출은 플랜뷰의 깊이값을 미분함으로써 이루어지는데, 좀 더 자세히 설명하면 다음과 같다.

도 9(a)에 도시된 플랜뷰의 평면도 상에서 수직 방향 요소값을 직전(왼쪽) 위치의 수직방향 요소값과의 차를 통해 미분값이 산출되는데, 산출된 결과를 그래 프로 표시하면 도 9(b)와 같다.

그래프에서 가장 큰 값을 나타내고 있는 양 끝단은 대상물의 최측면(最側面)이 되며, 임계값 이상의 검출된 지점(depth existing area)은 대상물의 깊이변화가 존재하는 지점이된다. 또한 미분값은 존재하나 임계치를 넘지 못하는 지점(insensible depth area)은 완만한 깊이 변화를 보이는 곳으로 미분만으로는 정확한 지점 인식이 어렵다.

본 발명에서는 이와 같이 미분의 결과값이 소정 임계치 이하일 경우, 도 9(c)에 도시된 것과 같이 깊이변화 값을 누적하여 깊이변화 시점을 산출하도록 한다.

이때, 상기 임계값은 대상물의 깊이 변화의 크기나 복잡한 정도에 따라 변경될 수 있는 것으로, 깊이의 변화가 크지 않은 대상이라면 임계값을 낮게 설정하는 것이 바람직하다.

위에서 설명한 바와 같이 깊이변화 시점이 산출되면 본 발명에서는 산출된 깊이변화 시점에 따라 가상 카메라의 레이(ray)를 배치한다(S114).

즉, 도 10에 도시된 바와 같이 깊이 변화가 존재하는 구간(W1, W2)에 가상적인 카메라(VC1, VC2)의 레이(Ray1, Ray2)를 배치하도록 하다.

이때, 가상적인 카메라(VC1, VC2)는 깊이 변화가 존재하는 구간(W1, W2)의 중앙부분으로부터 연장된 지점에 설정되며, 원근감을 표현할 수 있도록 레이(Ray1, Ray2)가 방사(放射)형의 퍼스펙티브 형태로 배치되는 것이 바람직한데, VC1와 VC2는 일 평행선 상에 위치하게 되므로, Ray1보다 Ray2가 더 넓은 각도를 형성하게 된 다.

이러한 레이의 배치를 통해 본 발명은 고정된 시점에 의해 가려질 수 있는 대상물의 부분을 볼 수 있도록 한다.

더불어, S112단계에서 배치된 레이(Ray1, Ray2) 사이, 즉, 깊이 변화가 존재하지 않는 구간(W12)도 최종적인 영상에 도시되어야 하므로, 이러한 W12구간에는 보간(interporation) 카메라(VC12)의 레이인 보간 레이(Ray12)를 퍼스펙티브 형태로 재배치하는 것이 바람직하다(S116).

이때, 보간 레이(Ray12)는, 양측의 레이(Ray1, Ray2)에 대응하는 깊이변화 구간(W1, W2)의 넓이에 따라 편향하여 재배치되는 것이 자연스러운 영상을 생성하기에 더욱 바람직하다.

즉, 도시된 바와 같이 W1보다 W2구간의 넓이가 넓을 경우 앞서 언급한 바와 같이 Ray2가 Ray1보다 더 큰 각도를 형성하게 되는데, 보간 레이(Ray12)도 이에 맞추어 Ray2 방향측에 더 큰 각도를 형성할 수 있도록 보간 카메라(VC12)의 중심이 VC2 측으로 편향된 지점에 배치함으로써 두 레이 사이의 영상들이 자연스럽게 연결되도록 만들어 준다.

이러한 구성에 의해 본 발명은 보간 레이(Ray12)가 주위의 레이들(Ray1, Ray2)과 이질감 없이 자연스럽게 배치되므로, 차후에 별도의 블렌딩(blending)과정이 요구되지 않는 효과를 제공한다.

그리고 나서, 본 발명에 따르면 S112단계 및 S114단계를 통해 배치된 가상 카메라의 레이에 대응하는 영상 스트립을 영상 소스인 상기 영상 시퀀스로부터 추 출한다(S118)

도 11을 참조하여 좀 더 자세히 설명하면, 가상카메라 VC의 레이 중 하나인 R1이 도 11에 도시된 바와 같이 설정될 경우, R1이 통과하는 실제카메라 C1에서 획득된 입력 영상(source image) 중 P1지점에 해당하는 영상의 스트립(strip)을 추출하여 멀티 퍼스펙티브 영상 평면(image plane)의 S1지점에 복사하는 것이다.

여기서, 영상 스트립(image strip)은 영상 내에서 하나의 세로 라인(slits)을 의미하는 것으로 영상 스트립의 넓이는 하나의 픽셀 혹은 사용자가 설정한 임의의 가로픽셀 넓이(width)로 정의될 수 있다.

한편, 레이에 대응하는 부분에 소스 영상이 존재하지 않아 영상 스트립을 가져올 수 없는 경우, 양측 레이에 대응하는 영상 스트립을 참조하여 보간(interpolation)을 위한 스트립을 생성하고(S120), 남은 부분에 대해 보간을 수행한다(S122).

도 11을 참조하여 좀 더 자세히 설명하면, 촬영된 실제카메라의 위치 C1 및 C2에 의해 획득된 영상 소스에서 추출한 스트립이 S1과 S2뿐일 경우, 남은 다섯 개의 스트립 I1, G1, I2, G2, I3를 채워야 한다.

이 모든 부분을 일률적으로 보간하면 왜곡이 커질 수 있으므로, S1과 S2를 이용하여 G1과 G2 스트립을 먼저 생성하고, 생성된 G1, G2 스트립을 이용해 I1, I2, I3의 보간 스트립을 생성한다.

이를 위해 본 발명에서는 우선적으로 G1의 위치에 해당하는 보간 스트립을 생성하기 위해서 G1과 가상카메라의 중심 VC를 지나는 레이 Rv를 정의한다. 그러나 Rv가 가리키는 지점에는 소스 영상이 실재(實在)하지 않으므로, 가장 가까운 C1, C2의 소스 영상을 사용하여 G1의 스트립을 생성한다[수학식 1참조].

이와 같은 경우 G1의 영상정보는 C1과 C2 사이에 존재하는 가상의 카메라 Cv를 통해 획득된 것으로 가정할 수 있으므로, 가상 카메라 Cv를 지나는 레이 Rv가 가리키는 실제 대상물의 한 지점 P를 동일하게 C1과 C2에서 가리키는 레이 L1과 L2를 정의한다.

이때, 두 레이(L1, L2)가 가리키는 영상 스트립 중에서 G1에 더 가까운 스트립이 생성될 색상에 더 많은 영향을 주는 것은 자명하므로, 두 레이에 해당하는 카메라(C1, C2)의 실제 스트립(S1, S2) 중 더 가까운 스트립에 가중치를 두어 보간 스트립을 생성하는 것이 바람직하다.

예를 들어, G1에 채워질 보간 스트립의 색은 다음과 같이 정의될 수 있다.

G1 = a2/(a1+a2)*LC1 + a1/(a1+a2)*LC2

여기서, a1은 L1레이와 Rv레이가 이루는 각도차, a2는 L2 레이와 Rv레이가 이루는 각도차, LC1은 L1레이가 가리키는 C1의 소스영상에서의 스트립 색(色)정보, LC2는 L2레이가 가리키는 C2의 소스영상에서의 스트립 색정보를 뜻한다.

이때, 상기 스트립 색정보는 (255, 0, 0)과 같이 3가지 원색의 정보가 포함된 RGB정보인 것이 바람직하다.

예를 들어 설명하면, C1의 소스영상에서의 스트립 색정보가 빨강(255, 0, 0), C2의 소스영상에서의 스트립 색정보가 파랑(0, 0, 255)이고, a1와 a2의 각도차 가 동일할 경우 G1은 두 스트립의 색정보를 동일한 비율로 참조하여 보라색(128, 0, 128)으로 표현될 수 있다.

이와 같은 방법을 통해 생성된 보간 스트립을 이용하여 S118단계에서 추출되었던 영상 스트립의 사이를 보간하면 최종적으로 멀티 퍼스펙티브 영상이 생성된다.

본 발명에 따르면 원본 영상 시퀀스의 합보다 더 높은 해상도의 결과물을 얻을 수 있을 뿐만 아니라, 적은 수의 영상 소스를 이용하더라도 자연스러운 영상을 생성할 수 있는 장점이 있다.

한편, 도 12는 종래 방법에 의해 생성된 pushbroom영상과 앞서 설명한 것과 같이 보간이 완료되어 최종적으로 생성된 멀티 퍼스펙티브 영상을 대조하여 도시하고 있다.

도시된 것과 같이 본 발명은 대상의 영상평면에서 형체 특성에 따라 일부분이 가려지지 않고, 사용자가 영상을 통해 대상의 깊이변화를 용이하게 알 수 있도록 한다.

이상과 같이, 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 이것에 의해 한정되지 않으며 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 본 발명의 기술 사상과 아래에 기재될 특허 청구범위의 균등 범위 내에서 다양한 수정 및 변형이 가능함은 물론이다.

도 1은 본 발명의 바람직한 일 실시예에 따른 멀티 퍼스펙티브 영상 생성방법의 흐름도,

도 2는 획득된 영상 시퀀스의 일 예를 도시한 예시도,

도 3은 영상 내 대상물의 특징점을 표시한 예시도,

도 4는 특징점을 매칭하는 일 예를 도시한 예시도,

도 5는 투영적 재구성하는 일 예를 도시한 예시도,

도 6은 자가보정의 일 예를 도시한 예시도,

도 7은 생성된 파사드 평면의 일 예를 도시한 예시도,

도 8은 생성된 플랜뷰의 일 예를 도시한 예시도,

도 9(a) 내지 도 9(c)는 생성된 플랜뷰의 일 예를 도시한 예시도,

도 10은 본 발명에 따른 레이 배치의 일 예를 도시한 예시도,

도 11은 스트립 보간의 원리를 설명하기 위한 개요도,

도 12는 본 발명에 의해 생성된 결과물을 도시한 예시도이다.

Claims (9)

1. 영상 시퀀스로부터 대상물의 특징점을 찾아, 상기 특징점 간의 매칭을 수행하는 시퀀스 매칭단계, 상기 매칭의 결과를 이용하여 투영적 재구성(projective reconstruction)을 수행하는 재구성 단계, 상기 투영적 재구성의 결과를 자가보정(self-calibration)하여 투영행렬(projection matrix)을 산출하는 투영행렬 산출단계, 상기 투영행렬을 이용하여 상기 대상물의 파사드(facade)평면을 생성하는 파사드평면 생성단계를 통해, 연속 촬영된 이미지인 영상 시퀀스를 이용하여 대상물까지의 거리정보를 포함한 플랜뷰(planview)를 생성하는 플랜뷰 생성단계; 및

   상기 플랜뷰의 거리정보를 이용하여 산출된 상기 대상물의 깊이(depth) 변화시점에 따라 가상 카메라의 레이(ray)를 퍼스펙티브(perspective) 형태로 배치하고, 배치된 가상 카메라의 레이에 따라 상기 영상 시퀀스로부터 추출된 영상 스트립을 누적하여 멀티 퍼스펙티브 영상을 생성하는 멀티 퍼스텍티브 영상 생성단계;

   를 포함하는 플랜뷰를 이용한 멀티 퍼스펙티브 영상 생성방법.
2. 삭제
3. 제 1항에 있어서, 상기 멀티 퍼스텍티브 영상 생성단계가,

   상기 플랜뷰의 깊이변화 시점을 산출하는 깊이변화 시점 산출단계;

   산출된 깊이변화 시점에 따라 가상 카메라의 레이(ray)를 퍼스펙티브 형태로 배치하는 레이 배치단계; 및

   배치된 가상 카메라의 레이에 대응하는 영상을 추출하여 영상 스트립을 생성하는 영상 스트립 추출단계;

   를 포함하는 플랜뷰를 이용한 멀티 퍼스펙티브 영상 생성방법.
4. 제 3항에 있어서, 상기 멀티 퍼스텍티브 영상 생성단계는,

   상기 레이 배치단계 이후, 상기 레이 배치단계에서 퍼스펙티브 형태로 배치된 레이 사이에, 보간(interporation) 카메라의 레이인 보간 레이를 퍼스펙티브 형태로 재배치하는 레이 보간단계;

   를 더 포함하는 멀티 퍼스펙티브 영상 생성방법.
5. 제 4항에 있어서, 상기 보간 레이는,

   양측의 레이에 대응하는 깊이변화 구간의 넓이에 따라 편향하여 재배치되는 것을 특징으로 하는 멀티 퍼스펙티브 영상 생성방법.
6. 제 3항에 있어서, 상기 깊이변화 시점 산출단계는,

   상기 플랜뷰의 깊이값을 미분하여 깊이변화 시점을 산출하는 것을 특징으로 하는 멀티 퍼스펙티브 영상 생성방법.
7. 제 6항에 있어서, 상기 깊이변화 시점 산출단계는,

   상기 미분의 결과값이 소정 임계치 이하일 경우, 깊이변화 값을 누적하여 깊이변화 시점을 산출하는 것을 특징으로 하는 멀티 퍼스펙티브 영상 생성방법.
8. 제 3항에 있어서, 멀티 퍼스텍티브 영상 생성단계는,

   영상 스트립 추출단계에서 상기 레이에 대응하는 영상 스트립이 존재하지 않을 경우, 양측 레이에 대응하는 영상 스트립을 참조하여 보간 스트립을 생성하고, 생성된 보간 스트립을 상기 추출된 영상 스트립 사이에 누적 배치하는 스트립 보간단계;를 더 포함하는 멀티 퍼스펙티브 영상 생성방법.
9. 제 8항에 있어서, 상기 스트립 보간단계는,

   양측 레이에 대응하는 영상 스트립 중 보간 스트립을 생성하고자 하는 레이에 더 가까운 영상 스트립에 가중치를 두어 보간 스트립을 생성하는 것을 특징으로 하는 멀티 퍼스펙티브 영상 생성방법.

Images