KR100234196B1 - 2차원 비디오 영상으로부터 높이 맵 생성방법 - Google Patents

Abstract

본 발명은 연속된 2차원 비디오 영상으로부터 높이 맵을 생성하는 방법에 관한 것으로서, 연속된 2차원 비디오 영상으로부터 높이 맵을 생성하는 방법은 연속된 2차원 비디오 영상으로부터 깊이(x,y,d) (여기에서, x,y는 2차원 투영점의 좌표이고, d는 깊이이다.)을 생성하고, 2차원 비데오 영상을 찍은 카메라의 촛점거리(f) 및 카메라의 지상에서의 높이(H)를 구하는 단계; 깊이 맵의 깊이 정보를 H_Y축에, 깊이 정보의 y를 H_Z축에, 깊이 정보의 x를 H_X축에 사상시킨 높이 맵을 생성하는 단계; (H_X, H_Y) 평면을 소정의 크기의 격자들로 나눌 때, 상기 각 격자에 대응하는 높이 정보가 하나씩만 분포하도록 상기 생성된 높이 맵을 보정하는 제3단계를 포함함을 특징으로 한다.

본 발명에 의하면, 2차원 비디오 영상으로부터 생성된 깊이 맵을 변환하여 높이 맵을 생성함으로서 2차원 비디오 영상에서 보이지 않던 부분도 높이 맵을 표현하는 3차원 공간상에서 사용자로 하여금 들여다 볼 수 있도록 하고, 이러한 높이 맵을 연속되는 2차원 비디오 영상에서 계속적으로 생성하여 하나의 공통 좌표계에서 합성함으로서 더욱 정교한 높이 맵을 생성하는 효과를 갖는다.

Description

2차원 비디오 영상으로부터 높이 맵 생성방법{Method for generating height map using 2-dimensional video image}

본 발명은 2차원 비디오 영상의 처리 방법에 관한 것으로서, 더욱 상세하게는 연속된 2차원 비디오 영상으로부터 높이 맵(height map)을 생성하는 방법 및 상기 생성된 높이 맵을 합성하는 방법에 관한 것이다.

종래에는 사용자가 3차원 공간 상에서 3차원 모델과의 상호 작용 및 조작을 하기 위하여 사용하는 방법은 깊이 맵을 이용한 방법이었다. 깊이 맵에서 깊이에 해당하는 부분은 3차원 좌표에서 Z축에 해당하는데, 2차원 비디오 영상에서 보이지 않던 부분은 깊이 맵을 표현하는 3차원 공간 상에서도 여전히 표현되지 않는다.

이하에서 종래의 기술에 의한 깊이 맵으로부터의 높이 맵의 생성방법을 설명한다.

2차원 투영점의 좌표를 (x,y)라 할 때, 3차원 좌표계에서의 그 점의 위치는 다음과 같이 카테션 좌표계(Cartesian coordinate system) 또는 원근 투영법(perspective projection)에 의해 파악할 수 있다.

먼저, 도 1은 카테션 좌표계에서의 깊이(depth) 데이터의 구조를 나타낸다. 도 1에 있어서 참조부호 100은 카메라의 광축 중심(optical center)을, 참조부호 110은 투사 광선(projecting ray)의 수직 각도를, 참조부호 120는 투사 광선(projecting ray)의 수평 각도를, 참조부호 130은 3차원 깊이 맵상의 한 점까지의 거리(D)를 나타낸다. 상기 카테션 좌표계(Cartesian coordinate)에서 한 점의 위치는 그 점에서의 깊이와 카메라로부터 그 점까지 이르는 투사광선의 방향으로부터 얻어질 수 있다.

투사광선의 수평각도(120)와 수직각도(110)는 다음과 같다.

(여기에서, θ,φ는 각각 투사광선의 수직각도와 수평각도이고, x,y는 각각 2차원 투영점의 좌표이고, θ₀,φ₀는 각각 y축과 광축(optical axis)과의 각도이고, N_x,N_y는 각각 영상의 크기이고, FOV_x,FOV_y는 각각 카메라의 시야각(Field Of View))이다.

도 3은 카메라의 구조에서 FOV(Field Of View)를 나타낸다. 도 3에 있어서, 참조부호 300은 카메라의 시야각을, 참조부호 310은 영상의 크기를, 참조부호 320는 카메라의 초점거리를 나타낸다. 상기 시야각(300)의 크기는 카메라의 초점거리(320)에 반비례한다. 상기 카메라의 시야각은 다음 식과 같이 구한다.

(여기에서, N은 영상의 크기이고, f는 카메라의 촛점거리이다.)

다음, 3차원 좌표계의 한 점의 좌표를 (X, Y, Z)라 할 때, 원근 투시법(perspective projection)에 의한 2차원 투영점의 좌표(x, y)와의 관계는 다음과 같다.

여기서 Z는 카메라에서 그 점까지의 거리, 즉 깊이로 치환될 수 있다.

도 4는 높이 맵의 생성시의 카메라와 영상의 위치관계를 나타내고, 도 5는 상기 높이 맵(height map)의 구참조부호 520는 지표면(ground plane)을 나타낸다. 상기 높이(500)는 깊이 맵으로부터 얻어지며, 각각의 격자(510)에 대하여 각각 하나의 값만을 가진다. 지성을 나타낸다. 도 5에 있어서 참조부호 500은 높이를, 참조부호 510은 격자를, 표면(520)의 높이는 0의 값을 갖는다.

6도는 기존의 방법에 의한 깊이 정보의 높이 맵(height map)상의 높이로의 변환을 나타낸다. 도 6에 의하면, 높이 맵에서의 한 점의 좌표 (H_X,H_Y,H_Z)는 다음과 같다.

(H_X,H_Y,H_Z) = (xd/f,yd/f,H-Dcosθsinφ)

(여기에서, x,y는 2차원 투영점의 좌표이고, θ,φ는 각각 투사광선의 수직각도와 수평각도이고, f는 카메라의 촛점거리이고, H는 카메라의 지표로부터의 높이이고, d는 치환된 깊이이고, D는 깊이이다.)

상기와 같은 기존의 깊이 맵으로부터 높이 맵을 구하는 방법은 높이를 나타내는 H_Z축을 깊이 정보에 정합시키므로 적당하지 않다. 즉, 사용자가 H_XH_Z평면을 통해 3차원 공간을 바라본다면 깊이 정보는 H_Y축에 사상되는 것이 카메라와 영상 사이의 구조에 더욱 적합하다.

본 발명은 상기의 문제점을 해결하기 위하여 창작된 것으로서, 카메라와 영상 사이의 구조에 더욱 적합하고, 2차원 비디오 영상에서 보이지 않던 부분도 3차원 공간 상에서 표현되는, 깊이 맵으로부터 변환하여 높이 맵을 생성하는 방법을 제공함을 그 목적으로 한다.

도 1은 카테션 좌표계에서의 깊이 데이터의 구조를 도시한 것이다.

도 2는 도 1의 깊이 데이터의 구조를 또 다른 측면에서 도시한 것이다.

도 3은 카메라의 구조에서 FOV를 도시한 것이다.

도 4는 높이 맵의 생성시의 카메라와 영상의 위치관계를 도시한 것이다.

도 5는 높이 맵의 구성을 도시한 것이다.

도 6은 종래의 방법에 의한 깊이 정보의 높이 맵상으로의 변환을 도시한 것이다.

도 7은 본 발명에 의한 2차원 비디오 영상으로부터 높이 맵을 생성하는 과정을 도시한 흐름도이다.

도 8은 도 7의 한 단계인 깊이 정보의 높이 맵상으로의 변환을 설명하기 위한 도면이다.

도 9는 한 격자에 두개의 높이 정보가 포함되는 경우를 도시한 것이다.

제10도는 연속되는 높이 맵들을 하나의 공통 좌표계로 변환하는 과정을 도시한 것이다.

도 11은 새로운 높이 정보가 추가될 때 두 개의 높이 맵이 합쳐지는 것을 나타낸다.

도 12는 본 발명에 의한 연속되는 높이 맵들 중 하나를 하나의 공통 좌표계에 합성하는 과정을 도시한 흐름도이다.

상기의 목적을 달성하기 위하여, 본 발명에 의한 연속된 2차원 비디오 영상으로부터 높이 맵(height map)을 생성하는 방법은 상기 연속된 2차원 비디오 영상으로부터 깊이 맵(x,y,d) (여기에서, x,y는 2차원 투영점의 좌표이고, d는 깊이이다.)을 생성하고, 상기 2차원 비데오 영상을 찍은 카메라의 촛점거리(f) 및 상기 카메라의 지상에서의 높이(H)를 구하는 제1단계; 수학식

H_X= xd/f,

H_Y= d,

H_Z= yd/f - H

(여기에서, H_X, H_Y, H_Z는 높이 맵의 3차원 좌표이다.)

에 의해, 상기 깊이 맵의 깊이 정보를 H_Y축에, 상기 깊이 정보의 y를 H_Z축에, 상기 깊이 정보의 x를 H_X축에 사상시킨 높이 맵을 생성하는 제2단계; 및 (H_X, H_Y) 평면을 소정의 크기의 격자들로 나눌 때, 상기 각 격자에 대응하는 높이 정보가 하나씩만 분포하도록 상기 생성된 높이 맵을 보정하는 제3단계를 포함함을 특징으로 한다.

이하에서 첨부된 도면을 참조하여 본 발명을 상세히 설명한다.

도 7은 본 발명에 의한 2차원 비디오 영상으로부터 높이 맵을 생성하는 과정을 도시한 흐름도이다. 도 7에 의하면, 먼저 상기 연속된 2차원 비디오 영상으로부터 깊이(x,y,d) (여기에서, x,y는 2차원 투영점의 좌표이고, d는 깊이이다.)을 생성하고, 상기 2차원 비데오 영상을 찍은 카메라의 촛점거리(f) 및 상기 카메라의 지상에서의 높이(H)를 구한다(700단계). 깊이 맵의 생성은 연속되는 2차원 비디오 영상으로부터 광류(optical flow)를 측정하고, 이를 이용하여 카메라로부터 물체까지의 거리 즉, 깊이를 계산한다.

다음, 상기 깊이 맵의 깊이 정보를 H_Y축에, 상기 깊이 정보의 y를 H_Z축에, 상기 깊이 정보의 x를 H_X축에 사상시켜 높이 맵을 생성한다(710단계). 도 8은 상기 710단계에서의 깊이 맵에서 높이 맵으로의 변환을 설명하는 도면이다. 따라서, 사용자가 H_XH_Z평면을 통해 3차원 공간을 바라본 깊이 정보를 Hy축에 사상시킴으로써 카메라와 영상사이의 구조에 더 적합한 방식이다.

본 발명에서의 높이 맵은 다음과 같은 몇 가지 문제점을 가진다. 첫째, 상기 높이 맵에서 높이 정보가 균일하게 분포하지 않는다. 따라서, 응용에 따라 균일한 높이 맵을 필요로 하는 경우에 어려움이 있다. 둘째, 깊이 맵에서 상기 높이 맵으로의 변환과정에서 여러 개의 깊이 정보가 하나의 높이 정보에 사상(mapping)된다.

상기 문제점에 대한 해결책으로 본 발명에는 다음과 같은 과정이 추가된다.

(H_X, H_Y) 평면을 소정의 크기의 격자들로 나눌 때, 상기 각 격자에 대응하는 높이 정보가 균일하게 분포하도록 상기 높이 맵을 보정한다(720단계). 균일한 높이 정보를 얻기 위해서는 보간법(interpolation) 또는 데로네이 삼각법(Delaunay Triangulation)을 이용할 수 있다.

상기 각 격자에 여러개의 높이 맵이 존재하는 경우, 가장 높은 높이 정보를 취하여 상기 높이 맵을 완성한다(730단계). 도 9는 한 격자에 두개의 높이 정보가 포함되는 경우를 도시한 것이다. 이 경우, 왼쪽의 높이 정보만을 취한다. 이는 지표면에 대하여 가장 높은 정보만이 3차원 공간에 표현됨을 의미한다.

도 10은 연속되는 높이 맵들을 하나의 공통 좌표계로 변환하는 과정을 나타낸다. 도 10에 있어서, 참조부호 1000은 1번째 비디오 영상에서의 높이 맵을, 참조부호 1010은 2번째 비디오 영상에서의 높이 맵을, 참조부호 1020는 N번째 영상에서의 높이 맵을, 참조부호 1030은 1번째 비디오 영상에 대한 높이 맵의 공통좌표계로의 변환을, 참조부호 1040는 2번째 비디오 영상에 대한 높이 맵의 공통좌표계로의 변환을, 참조부호 1050는 N번째 비디오 영상에 대한 높이 맵의 공통좌표계로의 변환을 나타낸다.

완전한 3차원 높이 정보를 얻기 위해서 연속된 여러 개의 높이 맵을 조합하는 것은 다음과 같은 장점을 가진다. 첫째, 각각의 높이 맵에 비하여 더욱 많은 정보와 정밀한 해상도를 얻을 수 있다. 둘째, 높이 맵의 해상도는 가까운 거리에서 더욱 높아진다. 이는 카메라로부터 일정한 거리에서 원래 얻어진 높이 맵들의 해상도를 높일 수 있음을 의미한다.

연속적인 각각의 높이 맵(1000, 1010, 1020)들을 공통 좌표계로 변환하기 위해서는 변환 행렬(transformation matrix)이 필요하다. 각각의 높이 맵을 획득한 카메라의 좌표계를 S라하고 공통좌표계를 C라 하면 S에서 C로의 변환행렬은

따라서 연속적인 높이 맵들 간의 카메라의 운동 방정식, 즉 회전 행렬과 C에 대한 S의 위치를 알면 각각의 높이 맵을 하나의 공통 좌표계로 합칠 수 있다. 이때 변환된 한 점의 좌표는 식

에 의하여 구하여진다.

도 11은 새로운 높이 정보가 추가될 때 두 개의 높이 맵이 합쳐지는 것을 나타낸다. 도 11에 있어서, 참조부호 1100, 1110은 연속적인 각각의 높이 맵을, 참조부호 1120는 합성된 높이 맵을 나타낸다. 도 11에서 도시된 바와 같이, 새로운 높이 맵(1110)의 새로운 높이 정보가 기존의 높이 맵(1120)에 첨가됨으로써 합성된 높이 맵은 더욱 많은 정보를 가지게 된다.

도 12는 본 발명에 의한 연속되는 높이 맵들 중 하나를 하나의 공통 좌표계에 합성하는 과정을 도시한 흐름도이다. 도 12에 의하면, 연속된 2차원 비디오 영상으로부터 생성된 깊이 맵을 (x, y, d)라 하고, 높이 맵의 3차원 좌표를 (H_X, H_Y, H_Z)라 할 때, 본 발명에 의한 상기한 바와 같이 생성한 높이 맵을 차례로 공통좌표계로 합성하는 방법은 먼저 직전에 상기 공통좌표계에 합성된 높이 맵과 합성할 높이 맵 사이의 카메라의 운동방정식에 의해 영상변환행렬을 생성한다(1200단계). 즉, k번째 비디오 영상으로부터 높이 맵을 생성하고, k-1번째 비디오 영상과 k번째 비디오 영상사이의 변환 행렬(transformation matrix) T^k _k-1를 계산한다.

다음, 공통좌표계에 대한 영상변환행렬에 상기 생성된 영상변환행렬을 합하여 공통좌표계에 대한 영상변환행렬을 갱신한다(1210단계). 즉, 첫 번째 비디오 영상으로부터 k-1번째 비디오 영상까지 합쳐진 변환 행렬에 T^k _k-1을 합침으로써 공통 좌표계에 대한 변환 행렬 T^k ₀을 계산한다.

다음, 상기 갱신된 공통좌표계에 대한 영상변환행렬 T^k ₀을 이용하여 상기 합성할 높이 맵의 변환좌표를 구한다(1220단계).

상기 합성할 높이 맵의 변환좌표를 상기 공통좌표계에 합성한다(1230단계).

이때, k번째 높이 맵에서의 좌표가 공통좌표계에 이미 포함된 높이 맵의 좌표와 중첩되지 않으면 그대로 합치고, 중첩되는 경우에는 높이 정보를 다음과 같이 갱신한다.

(여기에서, H_Z(H_X,H_Y)는 좌표(H_X,H_Y)에서의 높이 정보이고, H_Z1은 좌표(H_X,H_Y)에서의 이전의 높이 정보이고, H_Z2는 좌표(H_X,H_Y)에서의 새로운 높이 정보이고, σ₁은 공통좌표계의 높이 정보의 표준편차이고, σ₂는 새로이 합성할 높이 맵의 변환좌표에서의 높이 정보의 표준편차이다.)

다음, 상기 공통좌표계의 높이 정보의 표준편차는 식

에 의해 갱신한다.

본 발명에 의하면, 2차원 비디오 영상으로부터 생성된 깊이 맵을 변환하여 높이 맵을 생성함으로서 2차원 비디오 영상에서 보이지 않던 부분도 높이 맵을 표현하는 3차원 공간상에서 사용자로 하여금 들여다 볼 수 있도록 하고, 이러한 높이 맵을 연속되는 2차원 비디오 영상에서 계속적으로 생성하여 하나의 공통 좌표계에서 합성함으로서 더욱 정교한 높이 맵을 생성하는 효과를 갖는다.

Claims (2)

1. 연속된 2차원 비디오 영상으로부터 높이 맵을 생성하는 방법에 있어서,

   상기 연속된 2차원 비디오 영상으로부터 깊이 맵(x,y,d) (여기에서, x,y는 2차원 투영점의 좌표이고, d는 깊이이다.)을 생성하고, 상기 2차원 비데오 영상을 찍은 카메라의 촛점거리(f) 및 상기 카메라의 지상에서의 높이(H)를 구하는 제1단계;

   수학식

   H_X= xd/f,

   H_Y= d,

   H_Z= yd/f - H

   (여기에서, H_X, H_Y, H_Z는 높이 맵의 3차원 좌표이다.)

   에 의해, 상기 깊이 맵의 깊이 정보를 H_Y축에, 상기 깊이 정보의 y를 H_Z축에, 상기 깊이 정보의 x를 H_X축에 사상시킨 높이 맵을 생성하는 제2단계; 및

   (H_X, H_Y) 평면을 소정의 크기의 격자들로 나눌 때, 상기 각 격자에 대응하는 높이 정보가 하나씩만 분포하도록 상기 생성된 높이 맵을 보정하는 제3단계를 포함함을 특징으로 하는 높이 맵 생성방법.
2. 제1항에 있어서, 상기 제3단계는

   대응하는 높이 정보를 갖지 못한 상기 격자를 찾아, 대응하는 높이 정보를 갖는 주변 격자의 높이 정보를 이용하여 추정된 높이 정보를 부여하는 단계; 및

   대응하는 높이 정보를 여러개 갖는 상기 격자를 찾아, 찾은 격자에 대응하는 높이 정보 중 가장 높은 높이 정보만을 취하는 단계를 포함함을 특징으로 하는 높이 맵 생성방법.