KR19980060719A - Height map generation method and height map synthesis method from 2D video image - Google Patents

Height map generation method and height map synthesis method from 2D video image Download PDF

Info

Publication number
KR19980060719A
KR19980060719A KR1019960080085A KR19960080085A KR19980060719A KR 19980060719 A KR19980060719 A KR 19980060719A KR 1019960080085 A KR1019960080085 A KR 1019960080085A KR 19960080085 A KR19960080085 A KR 19960080085A KR 19980060719 A KR19980060719 A KR 19980060719A
Authority
KR
South Korea
Prior art keywords
height
map
height map
coordinate system
depth
Prior art date
Application number
KR1019960080085A
Other languages
Korean (ko)
Other versions
KR100234196B1 (en
Inventor
김만배
김도균
송문섭
Original Assignee
김광호
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 김광호, 삼성전자 주식회사 filed Critical 김광호
Priority to KR1019960080085A priority Critical patent/KR100234196B1/en
Publication of KR19980060719A publication Critical patent/KR19980060719A/en
Application granted granted Critical
Publication of KR100234196B1 publication Critical patent/KR100234196B1/en

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 연속된 2차원 비디오 영상으로부터 높이 맵을 생성하는 방법 및 생성된 높이 맵을 합성하는 방법에 관한 것으로서, 연속된 2차원 비디오 영상으로부터 높이 맵을 생성하는 방법은 연속된 2차원 비디오 영상으로부터 깊이(x,y,d) (여기에서, x,y는 2차원 투영점의 좌표이고, d는 깊이이다.)을 생성하고, 2차원 비데오 영상을 찍은 카메라의 촛점거리(f) 및 카메라의 지상에서의 높이(H)를 구하는 단계; 깊이 맵의 깊이 정보를 HY축에, 깊이 정보의 y를 HZ축에, 깊이 정보의 x를 HX축에 사상시킨 높이 맵을 생성하는 단계; (HX, HY) 평면을 소정의 크기의 격자들로 나눌 때, 상기 각 격자에 대응하는 높이 정보가 하나씩만 분포하도록 상기 생성된 높이 맵을 보정하는 제3단계를 포함함을 특징으로 한다.The present invention relates to a method of generating a height map from a continuous two-dimensional video image and a method of composing the generated height map, and a method of generating a height map from a continuous two- (X, y, d) where x and y are the coordinates of the two-dimensional projection point and d is the depth, and calculates the focal distance (f) of the camera that captured the 2D video image, Obtaining a height (H) at the ground; Generating a height map in which depth information of the depth map is mapped to the H Y axis, y of the depth information is mapped to the H Z axis, and x of the depth information is mapped to the H x axis; And a third step of correcting the generated height map so that the height information corresponding to the respective gratings is distributed one by one when the (H x , H y ) plane is divided into grids having a predetermined size .

본 발명에 의하면, 2차원 비디오 영상으로부터 생성된 깊이 맵을 변환하여 높이 맵을 생성함으로서 2차원 비디오 영상에서 보이지 않던 부분도 높이 맵을 표현하는 3차원 공간상에서 사용자로 하여금 들여다 볼 수 있도록 하고, 이러한 높이 맵을 연속되는 2차원 비디오 영상에서 계속적으로 생성하여 하나의 공통 좌표계에서 합성함으로서 더욱 정교한 높이 맵을 생성하는 효과를 갖는다.According to the present invention, a depth map generated from a two-dimensional video image is transformed to generate a height map, thereby enabling a user to look into a three-dimensional space representing a height map, The height map is continuously generated in successive two-dimensional video images and is synthesized in one common coordinate system to produce a more sophisticated height map.

Description

2차원 비디오 영상으로부터 높이 맵 생성방법 및 높이 맵 합성방법Height map generation method and height map synthesis method from 2D video image

본 발명은 2차원 비디오 영상의 처리 방법에 관한 것으로서, 더욱 상세하게는 연속된 2차원 비디오 영상으로부터 높이 맵(height map)을 생성하는 방법 및 상기 생성된 높이 맵을 합성하는 방법에 관한 것이다.The present invention relates to a method of processing a two-dimensional video image, and more particularly, to a method of generating a height map from a continuous two-dimensional video image and a method of composing the generated height map.

종래에는 사용자가 3차원 공간 상에서 3차원 모델과의 상호 작용 및 조작을 하기 위하여 사용하는 방법은 깊이 맵을 이용한 방법이었다. 깊이 맵에서 깊이에 해당하는 부분은 3차원 좌표에서 Z축에 해당하는데, 2차원 비디오 영상에서 보이지 않던 부분은 깊이 맵을 표현하는 3차원 공간 상에서도 여전히 표현되지 않는다.Conventionally, a method used by a user to interact with and manipulate a three-dimensional model on a three-dimensional space was a method using a depth map. The portion corresponding to the depth in the depth map corresponds to the Z axis in the three-dimensional coordinate, and the portion that is not seen in the 2D video image is still not expressed in the three-dimensional space representing the depth map.

이하에서 종래의 기술에 의한 깊이 맵으로부터의 높이 맵의 생성방법을 설명한다.A method of generating the height map from the depth map according to the conventional technique will be described below.

2차원 투영점의 좌표를 (x,y)라 할 때, 3차원 좌표계에서의 그 점의 위치는 다음과 같이 카테션 좌표계(Cartesian coordinate system) 또는 원근 투영법(perspective projection)에 의해 파악할 수 있다.When the coordinate of the two-dimensional projection point is (x, y), the position of the point in the three-dimensional coordinate system can be grasped by a Cartesian coordinate system or a perspective projection as follows.

먼저, 도 1은 카테션 좌표계에서의 깊이(depth) 데이터의 구조를 나타낸다. 도 1에 있어서 참조부호 100은 카메라의 광축 중심(optical center)을, 참조부호 110은 투사 광선(projecting ray)의 수직 각도를, 참조부호 120는 투사 광선(projecting ray)의 수평 각도를, 참조부호 130은 3차원 깊이 맵상의 한 점까지의 거리(D)를 나타낸다. 상기 카테션 좌표계(Cartesian coordinate)에서 한 점의 위치는 그 점에서의 깊이와 카메라로부터 그 점까지 이르는 투사광선의 방향으로부터 얻어질 수 있다.First, Fig. 1 shows the structure of depth data in the catheter coordinate system. 1, reference numeral 100 denotes an optical center of a camera, 110 denotes a vertical angle of a projecting ray, 120 denotes a horizontal angle of a projecting ray, Reference numeral 130 denotes a distance D to a point on the 3D depth map. The position of a point in the Cartesian coordinate system can be obtained from the depth at that point and the direction of the projection ray from the camera to that point.

투사광선의 수평각도(120)와 수직각도(110)는 다음과 같다.The horizontal angle 120 and the vertical angle 110 of the projection light are as follows.

(여기에서, θ,φ는 각각 투사광선의 수직각도와 수평각도이고, x,y는 각각 2차원 투영점의 좌표이고, θ0,φ0는 각각 y축과 광축(optical axis)과의 각도이고, Nx,Ny는 각각 영상의 크기이고, FOVx,FOVy는 각각 카메라의 시야각(Field Of View))이다.Where 0 and 0 are the vertical angle and horizontal angle of the projection light, respectively, x and y are the coordinates of the two-dimensional projection point, respectively, and 0 and 0 are the angles of the y- , N x and N y are respectively the size of the image, and FOV x and FOV y are the field of view of the camera, respectively).

도 3은 카메라의 구조에서 FOV(Field Of View)를 나타낸다. 도 3에 있어서, 참조부호 300은 카메라의 시야각을, 참조부호 310은 영상의 크기를, 참조부호 320는 카메라의 초점거리를 나타낸다. 상기 시야각(300)의 크기는 카메라의 초점거리(320)에 반비례한다. 상기 카메라의 시야각은 다음 식과 같이 구한다.3 shows a field of view (FOV) in the structure of the camera. 3, reference numeral 300 denotes a viewing angle of the camera, reference numeral 310 denotes a size of the image, and reference numeral 320 denotes a focal length of the camera. The size of the viewing angle 300 is inversely proportional to the focal length 320 of the camera. The viewing angle of the camera is obtained by the following equation.

(여기에서, N은 영상의 크기이고, f는 카메라의 촛점거리이다.)(Where N is the size of the image and f is the focal length of the camera).

다음, 3차원 좌표계의 한 점의 좌표를 (X, Y, Z)라 할 때, 원근 투시법(perspective projection)에 의한 2차원 투영점의 좌표(x, y)와의 관계는 다음과 같다.Next, when the coordinates of a point in the three-dimensional coordinate system is (X, Y, Z), the relationship between the two-dimensional projection point coordinates (x, y) by perspective projection is as follows.

여기서 Z는 카메라에서 그 점까지의 거리, 즉 깊이로 치환될 수 있다.Where Z can be replaced by the distance, or depth, from the camera to that point.

도 4는 높이 맵의 생성시의 카메라와 영상의 위치관계를 나타내고, 도 5는 상기 높이 맵(height map)의 구참조부호 520는 지표면(ground plane)을 나타낸다. 상기 높이(500)는 깊이 맵으로부터 얻어지며, 각각의 격자(510)에 대하여 각각 하나의 값만을 가진다. 지성을 나타낸다. 도 5에 있어서 참조부호 500은 높이를, 참조부호 510은 격자를, 표면(520)의 높이는 0의 값을 갖는다.FIG. 4 shows the positional relationship between the camera and the image when generating the height map, and FIG. 5 shows the ground plane of the height map 520. The height 500 is obtained from the depth map and has only one value for each grid 510. It represents intelligence. In FIG. 5, reference numeral 500 denotes a height, 510 denotes a lattice, and the height of the surface 520 has a value of zero.

6도는 기존의 방법에 의한 깊이 정보의 높이 맵(height map)상의 높이로의 변환을 나타낸다. 도 6에 의하면, 높이 맵에서의 한 점의 좌표 (HX,HY,HZ)는 다음과 같다.6 shows the conversion of the depth information to the height on the height map by the existing method. 6, the coordinates (H X , H Y , H Z ) of a point in the height map are as follows.

(HX,HY,HZ) = (xd/f,yd/f,H-Dcosθsinφ) (H X, H Y, H Z) = (xd / f, yd / f, H-Dcosθsinφ)

(여기에서, x,y는 2차원 투영점의 좌표이고, θ,φ는 각각 투사광선의 수직각도와 수평각도이고, f는 카메라의 촛점거리이고, H는 카메라의 지표로부터의 높이이고, d는 치환된 깊이이고, D는 깊이이다.)Where f is the focal length of the camera, H is the height from the camera's index, and d is the height of the camera. Is the substituted depth, and D is the depth.

상기와 같은 기존의 깊이 맵으로부터 높이 맵을 구하는 방법은 높이를 나타내는 HZ축을 깊이 정보에 정합시키므로 적당하지 않다. 즉, 사용자가 HXHZ평면을 통해 3차원 공간을 바라본다면 깊이 정보는 HY축에 사상되는 것이 카메라와 영상 사이의 구조에 더욱 적합하다.The method of obtaining the height map from the existing depth map as described above is not suitable because it matches the depth information with the H Z axis indicating the height. That is, if the user views the 3D space through the H X H Z plane, then mapping the depth information to the H Y axis is more suitable for the structure between the camera and the image.

본 발명은 상기의 문제점을 해결하기 위하여 창작된 것으로서, 카메라와 영상 사이의 구조에 더욱 적합하고, 2차원 비디오 영상에서 보이지 않던 부분도 3차원 공간 상에서 표현되는, 깊이 맵으로부터 변환하여 높이 맵을 생성하는 방법을 제공함을 제1의 목적으로 하고, 높이 맵을 더욱 정교하게 하기 위하여 생성된 높이 맵을 합성하는 방법을 제공함을 제2의 목적으로 한다,SUMMARY OF THE INVENTION The present invention has been made in order to solve the above-described problems, and it is an object of the present invention to provide a method of generating a height map by converting from a depth map, which is more suitable for a structure between a camera and an image, And a second object of the present invention is to provide a method for synthesizing a height map so as to further refine the height map.

도 1은 카테션 좌표계에서의 깊이 데이터의 구조를 도시한 것이다.Fig. 1 shows a structure of depth data in the Catheter coordinate system.

도 2는 도 1의 깊이 데이터의 구조를 또 다른 측면에서 도시한 것이다.Fig. 2 shows the structure of the depth data of Fig. 1 in another aspect.

도 3은 카메라의 구조에서 FOV를 도시한 것이다.3 shows the FOV in the structure of the camera.

도 4는 높이 맵의 생성시의 카메라와 영상의 위치관계를 도시한 것이다.Fig. 4 shows the positional relationship between the camera and the image at the time of generation of the height map.

도 5는 높이 맵의 구성을 도시한 것이다.Fig. 5 shows the structure of the height map.

도 6은 종래의 방법에 의한 깊이 정보의 높이 맵상으로의 변환을 도시한 것이다.Fig. 6 shows the transformation of the depth information onto the height map by the conventional method.

도 7은 본 발명에 의한 2차원 비디오 영상으로부터 높이 맵을 생성하는 과정을 도시한 흐름도이다.FIG. 7 is a flowchart illustrating a process of generating a height map from a 2D video image according to the present invention.

도 8은 도 7의 한 단계인 깊이 정보의 높이 맵상으로의 변환을 설명하기 위한 도면이다.FIG. 8 is a diagram for explaining conversion of depth information onto the height map, which is one step in FIG. 7. FIG.

도 9는 한 격자에 두개의 높이 정보가 포함되는 경우를 도시한 것이다.FIG. 9 shows a case where two height information are included in one grid.

제10도는 연속되는 높이 맵들을 하나의 공통 좌표계로 변환하는 과정을 도시한 것이다.FIG. 10 illustrates a process of converting successive height maps into one common coordinate system.

도 11은 새로운 높이 정보가 추가될 때 두 개의 높이 맵이 합쳐지는 것을 나타낸다.11 shows that two height maps are merged when new height information is added.

도 12는 본 발명에 의한 연속되는 높이 맵들 중 하나를 하나의 공통 좌표계에 합성하는 과정을 도시한 흐름도이다.12 is a flowchart illustrating a process of synthesizing one of successive height maps according to the present invention into one common coordinate system.

상기의 목적을 달성하기 위하여, 본 발명에 의한 연속된 2차원 비디오 영상으로부터 높이 맵(height map)을 생성하는 방법은 상기 연속된 2차원 비디오 영상으로부터 깊이 맵(x,y,d) (여기에서, x,y는 2차원 투영점의 좌표이고, d는 깊이이다.)을 생성하고, 상기 2차원 비데오 영상을 찍은 카메라의 촛점거리(f) 및 상기 카메라의 지상에서의 높이(H)를 구하는 제1단계; 수학식In order to achieve the above object, a method for generating a height map from a continuous two-dimensional video image according to the present invention comprises the steps of generating a depth map (x, y, d) , x and y are coordinates of a two-dimensional projection point, and d is a depth), and calculates a focal distance (f) of the camera that took the 2D video image and a height (H) A first step; Equation

HX= xd/f,H x = x d / f,

HY= d,H Y = d,

HZ= yd/f - HH Z = yd / f - H

(여기에서, HX, HY, HZ는 높이 맵의 3차원 좌표이다.)(Where H X , H Y , and H Z are the three-dimensional coordinates of the height map).

에 의해, 상기 깊이 맵의 깊이 정보를 HY축에, 상기 깊이 정보의 y를 HZ축에, 상기 깊이 정보의 x를 HX축에 사상시킨 높이 맵을 생성하는 제2단계; 및 (HX, HY) 평면을 소정의 크기의 격자들로 나눌 때, 상기 각 격자에 대응하는 높이 정보가 하나씩만 분포하도록 상기 생성된 높이 맵을 보정하는 제3단계를 포함함을 특징으로 한다.A second step of generating a height map in which depth information of the depth map is mapped to the H Y axis, y of the depth information is mapped to the H Z axis, and x of the depth information is mapped to the H x axis; And a third step of correcting the generated height map such that when the (H x , H y ) plane is divided into grids having a predetermined size, only one height information corresponding to each of the grids is distributed. do.

상기의 다른 목적을 달성하기 위하여, 연속된 2차원 비디오 영상으로부터 생성된 깊이 맵을 (x, y, d)(여기에서, x,y는 2차원 투영점의 좌표이고, d는 깊이이다.)라 하고, 높이 맵의 3차원 좌표를 (HX, HY, HZ)라 할 때, 상기 깊이 맵의 깊이 정보를 HY축에, 상기 깊이 맵의 y를 HZ축에, 상기 깊이 맵의 x를 HX축에 사상시켜 생성한 높이 맵을 기존의 공통좌표계에 합성하는 방법은 상기 공통좌표계에 마지막으로 합성된 높이 맵과 상기 공통좌표계에 합성할 높이 맵 사이의 카메라의 운동방정식에 의해 영상변환행렬을 생성하는 제1단계; 상기 공통좌표계에서 마지막으로 갱신된 공통좌표계에 대한 영상변환행렬에 상기 생성된 영상변환행렬을 합하여 공통좌표계에 대한 영상변환행렬을 갱신하는 제2단계; 상기 갱신된 공통좌표계에 대한 영상변환행렬을 상기 공통좌표계에 합성할 높이 맵을 곱하여 합성할 높이 맵의 변환좌표를 구하는 제3단계; 및 상기 합성할 높이 맵의 변환좌표를 상기 공통좌표계에 합성하는 제4단계를 포함함을 특징으로 한다.(X, y, d), where x and y are the coordinates of the two-dimensional projection point, and d is the depth. la, and the three-dimensional coordinate of a height map, the depth information of the depth map to the H Y-axis, y the H Z-axis of the depth map when La (H X, H Y, H Z), the depth map Of the height map generated on the H x axis is synthesized to the existing common coordinate system by the equation of motion between the height map finally synthesized in the common coordinate system and the height map to be synthesized in the common coordinate system A first step of generating an image transformation matrix; A second step of updating the image transformation matrix for the common coordinate system by adding the generated image transformation matrix to the image transformation matrix for the common coordinate system last updated in the common coordinate system; A third step of obtaining transformation coordinates of a height map to be synthesized by multiplying an image transformation matrix for the updated common coordinate system by a height map to be synthesized in the common coordinate system; And a fourth step of synthesizing transformed coordinates of the height map to be synthesized into the common coordinate system.

이하에서 첨부된 도면을 참조하여 본 발명을 상세히 설명한다.DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS The present invention will now be described in detail with reference to the accompanying drawings.

도 7은 본 발명에 의한 2차원 비디오 영상으로부터 높이 맵을 생성하는 과정을 도시한 흐름도이다. 도 7에 의하면, 먼저 상기 연속된 2차원 비디오 영상으로부터 깊이(x,y,d) (여기에서, x,y는 2차원 투영점의 좌표이고, d는 깊이이다.)을 생성하고, 상기 2차원 비데오 영상을 찍은 카메라의 촛점거리(f) 및 상기 카메라의 지상에서의 높이(H)를 구한다(700단계). 깊이 맵의 생성은 연속되는 2차원 비디오 영상으로부터 광류(optical flow)를 측정하고, 이를 이용하여 카메라로부터 물체까지의 거리 즉, 깊이를 계산한다.FIG. 7 is a flowchart illustrating a process of generating a height map from a 2D video image according to the present invention. 7, a depth (x, y, d) (where x and y are the coordinates of a two-dimensional projection point and d is depth) from the continuous two-dimensional video image is generated, The focal length f of the camera that captured the 3D video image and the height H of the camera on the ground are obtained (operation 700). The generation of the depth map measures the optical flow from the continuous two-dimensional video image, and uses this to calculate the distance from the camera to the object, that is, the depth.

다음, 상기 깊이 맵의 깊이 정보를 HY축에, 상기 깊이 정보의 y를 HZ축에, 상기 깊이 정보의 x를 HX축에 사상시켜 높이 맵을 생성한다(710단계). 도 8은 상기 710단계에서의 깊이 맵에서 높이 맵으로의 변환을 설명하는 도면이다. 따라서, 사용자가 HXHZ평면을 통해 3차원 공간을 바라본 깊이 정보를 Hy축에 사상시킴으로써 카메라와 영상사이의 구조에 더 적합한 방식이다.Next, a height map is generated by mapping depth information of the depth map to the H Y axis, y of the depth information to the H Z axis, and x of the depth information to the H X axis (step 710). FIG. 8 is a view for explaining the conversion from the depth map to the height map in step 710. FIG. Therefore, it is more suitable for the structure between the camera and the image by mapping the depth information that the user views the three-dimensional space through the H X H Z plane onto the Hy axis.

본 발명에서의 높이 맵은 다음과 같은 몇 가지 문제점을 가진다. 첫째, 상기 높이 맵에서 높이 정보가 균일하게 분포하지 않는다. 따라서, 응용에 따라 균일한 높이 맵을 필요로 하는 경우에 어려움이 있다. 둘째, 깊이 맵에서 상기 높이 맵으로의 변환과정에서 여러 개의 깊이 정보가 하나의 높이 정보에 사상(mapping)된다.The height map in the present invention has several problems as follows. First, height information is not uniformly distributed in the height map. Therefore, it is difficult to use a uniform height map depending on the application. Secondly, in the process of converting from the depth map to the height map, several depth information are mapped to one height information.

상기 문제점에 대한 해결책으로 본 발명에는 다음과 같은 과정이 추가된다.As a solution to the above problem, the following process is added to the present invention.

(HX, HY) 평면을 소정의 크기의 격자들로 나눌 때, 상기 각 격자에 대응하는 높이 정보가 균일하게 분포하도록 상기 높이 맵을 보정한다(720단계). 균일한 높이 정보를 얻기 위해서는 보간법(interpolation) 또는 데로네이 삼각법(Delaunay Triangulation)을 이용할 수 있다.(H X , H Y ) plane is divided into grids having a predetermined size, the height map is corrected so that the height information corresponding to each of the grids is uniformly distributed (operation 720). Interpolation or Delaunay triangulation can be used to obtain uniform height information.

상기 각 격자에 여러개의 높이 맵이 존재하는 경우, 가장 높은 높이 정보를 취하여 상기 높이 맵을 완성한다(730단계). 도 9는 한 격자에 두개의 높이 정보가 포함되는 경우를 도시한 것이다. 이 경우, 왼쪽의 높이 정보만을 취한다. 이는 지표면에 대하여 가장 높은 정보만이 3차원 공간에 표현됨을 의미한다.If there are several height maps in each grid, the height information is taken to complete the height map (step 730). FIG. 9 shows a case where two height information are included in one grid. In this case, only the left height information is taken. This means that only the highest information about the surface is represented in the three-dimensional space.

도 10은 연속되는 높이 맵들을 하나의 공통 좌표계로 변환하는 과정을 나타낸다. 도 10에 있어서, 참조부호 1000은 1번째 비디오 영상에서의 높이 맵을, 참조부호 1010은 2번째 비디오 영상에서의 높이 맵을, 참조부호 1020는 N번째 영상에서의 높이 맵을, 참조부호 1030은 1번째 비디오 영상에 대한 높이 맵의 공통좌표계로의 변환을, 참조부호 1040는 2번째 비디오 영상에 대한 높이 맵의 공통좌표계로의 변환을, 참조부호 1050는 N번째 비디오 영상에 대한 높이 맵의 공통좌표계로의 변환을 나타낸다.10 illustrates a process of converting successive height maps into one common coordinate system. 10, reference numeral 1000 denotes a height map in the first video image; 1010, a height map in the second video image; 1020, a height map in the Nth image; Reference numeral 1040 denotes a conversion of the height map to the common coordinate system of the second video image, and reference numeral 1050 denotes conversion of the height map to the common coordinate system of the first video image It shows the conversion to the coordinate system.

완전한 3차원 높이 정보를 얻기 위해서 연속된 여러 개의 높이 맵을 조합하는 것은 다음과 같은 장점을 가진다. 첫째, 각각의 높이 맵에 비하여 더욱 많은 정보와 정밀한 해상도를 얻을 수 있다. 둘째, 높이 맵의 해상도는 가까운 거리에서 더욱 높아진다. 이는 카메라로부터 일정한 거리에서 원래 얻어진 높이 맵들의 해상도를 높일 수 있음을 의미한다.Combining several successive height maps to obtain complete three-dimensional height information has the following advantages. First, more information and precise resolution can be obtained than for each height map. Second, the resolution of the height map is much higher at close range. This means that it is possible to increase the resolution of the originally obtained height maps at a certain distance from the camera.

연속적인 각각의 높이 맵(1000, 1010, 1020)들을 공통 좌표계로 변환하기 위해서는 변환 행렬(transformation matrix)이 필요하다. 각각의 높이 맵을 획득한 카메라의 좌표계를 S라하고 공통좌표계를 C라 하면 S에서 C로의 변환행렬은A transformation matrix is needed to transform each successive height map 1000, 1010, 1020 into a common coordinate system. Let S be the coordinate system of the camera that obtained each height map, and C be the common coordinate system, then the conversion matrix from S to C

따라서 연속적인 높이 맵들 간의 카메라의 운동 방정식, 즉 회전 행렬과 C에 대한 S의 위치를 알면 각각의 높이 맵을 하나의 공통 좌표계로 합칠 수 있다. 이때 변환된 한 점의 좌표는 식Thus, knowing the camera's equation of motion between successive height maps, ie, the rotation matrix and the position of S with respect to C, we can combine each height map into one common coordinate system. In this case,

에 의하여 구하여진다..

도 11은 새로운 높이 정보가 추가될 때 두 개의 높이 맵이 합쳐지는 것을 나타낸다. 도 11에 있어서, 참조부호 1100, 1110은 연속적인 각각의 높이 맵을, 참조부호 1120는 합성된 높이 맵을 나타낸다. 도 11에서 도시된 바와 같이, 새로운 높이 맵(1110)의 새로운 높이 정보가 기존의 높이 맵(1120)에 첨가됨으로써 합성된 높이 맵은 더욱 많은 정보를 가지게 된다.11 shows that two height maps are merged when new height information is added. 11, reference numerals 1100 and 1110 denote successive height maps, and reference numeral 1120 denotes a synthesized height map. As shown in FIG. 11, the new height information of the new height map 1110 is added to the existing height map 1120, so that the synthesized height map has more information.

도 12는 본 발명에 의한 연속되는 높이 맵들 중 하나를 하나의 공통 좌표계에 합성하는 과정을 도시한 흐름도이다. 도 12에 의하면, 연속된 2차원 비디오 영상으로부터 생성된 깊이 맵을 (x, y, d)라 하고, 높이 맵의 3차원 좌표를 (HX, HY, HZ)라 할 때, 본 발명에 의한 상기한 바와 같이 생성한 높이 맵을 차례로 공통좌표계로 합성하는 방법은 먼저 직전에 상기 공통좌표계에 합성된 높이 맵과 합성할 높이 맵 사이의 카메라의 운동방정식에 의해 영상변환행렬을 생성한다(1200단계). 즉, k번째 비디오 영상으로부터 높이 맵을 생성하고, k-1번째 비디오 영상과 k번째 비디오 영상사이의 변환 행렬(transformation matrix) Tk k-1를 계산한다.12 is a flowchart illustrating a process of synthesizing one of successive height maps according to the present invention into one common coordinate system. Referring to Figure 12, when referred to the depth map generated from a series of two-dimensional video image (x, y, d) la and, (H X, H Y, H Z) three-dimensional coordinates of the height map, the present invention , The image transformation matrix is generated by the motion equation of the camera between the height map synthesized in the common coordinate system and the height map to be synthesized Step 1200). That is, a height map is generated from the k-th video image, and a transformation matrix T k k-1 between the k-1-th video image and the k-th video image is calculated.

다음, 공통좌표계에 대한 영상변환행렬에 상기 생성된 영상변환행렬을 합하여 공통좌표계에 대한 영상변환행렬을 갱신한다(1210단계). 즉, 첫 번째 비디오 영상으로부터 k-1번째 비디오 영상까지 합쳐진 변환 행렬에 Tk k-1을 합침으로써 공통 좌표계에 대한 변환 행렬 Tk 0을 계산한다.Next, the image transformation matrix for the common coordinate system is updated by adding the generated image transformation matrix to the image transformation matrix for the common coordinate system (step 1210). That is, the transformation matrix T k 0 for the common coordinate system is calculated by combining T k k-1 with the transformation matrix including the first video image to the k-1th video image.

다음, 상기 갱신된 공통좌표계에 대한 영상변환행렬 Tk 0을 이용하여 상기 합성할 높이 맵의 변환좌표를 구한다(1220단계).Next, transformed coordinates of the height map to be composited are obtained using the updated image transformation matrix T k 0 for the common coordinate system (operation 1220).

상기 합성할 높이 맵의 변환좌표를 상기 공통좌표계에 합성한다(1230단계).The transformation coordinates of the height map to be synthesized are synthesized in the common coordinate system (operation 1230).

이때, k번째 높이 맵에서의 좌표가 공통좌표계에 이미 포함된 높이 맵의 좌표와 중첩되지 않으면 그대로 합치고, 중첩되는 경우에는 높이 정보를 다음과 같이 갱신한다.At this time, if the coordinates in the k-th height map do not overlap with the coordinates of the height map already included in the common coordinate system, they are merged as they are, and when overlapping, the height information is updated as follows.

(여기에서, HZ(HX,HY)는 좌표(HX,HY)에서의 높이 정보이고, HZ1은 좌표(HX,HY)에서의 이전의 높이 정보이고, HZ2는 좌표(HX,HY)에서의 새로운 높이 정보이고, σ1은 공통좌표계의 높이 정보의 표준편차이고, σ2는 새로이 합성할 높이 맵의 변환좌표에서의 높이 정보의 표준편차이다.)(Here, the height information of the H Z (H X, H Y) is the coordinate (H X, H Y), and the previous height information of the H Z1 is the coordinate (H X, H Y), H Z2 is coordinates and the height information of the new (H X, H Y), σ 1 is the standard deviation of the height information of the common coordinate system, σ 2 is the standard deviation of the height information of the converted coordinates of the height map to the newly synthesized).

다음, 상기 공통좌표계의 높이 정보의 표준편차는 식Next, the standard deviation of the height information of the common coordinate system is expressed by Equation

에 의해 갱신한다..

본 발명에 의하면, 2차원 비디오 영상으로부터 생성된 깊이 맵을 변환하여 높이 맵을 생성함으로서 2차원 비디오 영상에서 보이지 않던 부분도 높이 맵을 표현하는 3차원 공간상에서 사용자로 하여금 들여다 볼 수 있도록 하고, 이러한 높이 맵을 연속되는 2차원 비디오 영상에서 계속적으로 생성하여 하나의 공통 좌표계에서 합성함으로서 더욱 정교한 높이 맵을 생성하는 효과를 갖는다.According to the present invention, a depth map generated from a two-dimensional video image is transformed to generate a height map, thereby enabling a user to look into a three-dimensional space representing a height map, The height map is continuously generated in successive two-dimensional video images and is synthesized in one common coordinate system to produce a more sophisticated height map.

Claims (4)

연속된 2차원 비디오 영상으로부터 높이 맵을 생성하는 방법에 있어서,A method of generating a height map from a continuous two-dimensional video image, 상기 연속된 2차원 비디오 영상으로부터 깊이 맵(x,y,d) (여기에서, x,y는 2차원 투영점의 좌표이고, d는 깊이이다.)을 생성하고, 상기 2차원 비데오 영상을 찍은 카메라의 촛점거리(f) 및 상기 카메라의 지상에서의 높이(H)를 구하는 제1단계;Dimensional video image to generate a depth map (x, y, d) (where x and y are coordinates of a two-dimensional projection point and d is depth) from the continuous two-dimensional video image, A focal length f of the camera and a height H of the camera on the ground; 수학식Equation HX= xd/f,H x = x d / f, HY= d,H Y = d, HZ= yd/f - HH Z = yd / f - H (여기에서, HX, HY, HZ는 높이 맵의 3차원 좌표이다.)(Where H X , H Y , and H Z are the three-dimensional coordinates of the height map). 에 의해, 상기 깊이 맵의 깊이 정보를 HY축에, 상기 깊이 정보의 y를 HZ축에, 상기 깊이 정보의 x를 HX축에 사상시킨 높이 맵을 생성하는 제2단계; 및A second step of generating a height map in which depth information of the depth map is mapped to the H Y axis, y of the depth information is mapped to the H Z axis, and x of the depth information is mapped to the H x axis; And (HX, HY) 평면을 소정의 크기의 격자들로 나눌 때, 상기 각 격자에 대응하는 높이 정보가 하나씩만 분포하도록 상기 생성된 높이 맵을 보정하는 제3단계를 포함함을 특징으로 하는 높이 맵 생성방법.And a third step of correcting the generated height map such that when the (H x , H y ) plane is divided into grids having a predetermined size, only one height information corresponding to each of the grids is distributed. How to create a height map. 제1항에 있어서, 상기 제3단계는2. The method according to claim 1, 대응하는 높이 정보를 갖지 못한 상기 격자를 찾아, 대응하는 높이 정보를 갖는 주변 격자의 높이 정보를 이용하여 추정된 높이 정보를 부여하는 단계; 및Finding the grid having no corresponding height information and providing height information estimated using height information of a surrounding grid having corresponding height information; And 대응하는 높이 정보를 여러개 갖는 상기 격자를 찾아, 찾은 격자에 대응하는 높이 정보 중 가장 높은 높이 정보만을 취하는 단계를 포함함을 특징으로 하는 높이 맵 생성방법.Finding the grid having a plurality of corresponding height information, and taking only the highest height information among the height information corresponding to the found grid. 연속된 2차원 비디오 영상으로부터 생성된 깊이 맵을 (x, y, d)(여기에서, x,y는 2차원 투영점의 좌표이고, d는 깊이이다.)라 하고, 높이 맵의 3차원 좌표를 (HX, HY, HZ)라 할 때, 상기 깊이 맵의 깊이 정보를 HY축에, 상기 깊이 맵의 y를 HZ축에, 상기 깊이 맵의 x를 HX축에 사상시켜 생성한 높이 맵을 기존의 공통좌표계에 합성하는 방법에 있어서,(X, y, d) (where x and y are the coordinates of the two-dimensional projection point and d is the depth), and the depth map generated from the continuous two- (H x , H y , H z ), mapping depth information of the depth map to the H Y axis, y of the depth map to the H Z axis, and mapping x of the depth map to the H X axis A method for compositing a generated height map into an existing common coordinate system, 상기 공통좌표계에 마지막으로 합성된 높이 맵과 상기 공통좌표계에 합성할 높이 맵 사이의 카메라의 운동방정식에 의해 영상변환행렬을 생성하는 제1단계;A first step of generating an image transformation matrix by a motion equation of a camera between a height map finally synthesized in the common coordinate system and a height map to be synthesized in the common coordinate system; 상기 공통좌표계에서 마지막으로 갱신된 공통좌표계에 대한 영상변환행렬에 상기 생성된 영상변환행렬을 합하여 공통좌표계에 대한 영상변환행렬을 갱신하는 제2단계;A second step of updating the image transformation matrix for the common coordinate system by adding the generated image transformation matrix to the image transformation matrix for the common coordinate system last updated in the common coordinate system; 상기 갱신된 공통좌표계에 대한 영상변환행렬을 상기 공통좌표계에 합성할 높이 맵을 곱하여 합성할 높이 맵의 변환좌표를 구하는 제3단계; 및A third step of obtaining transformation coordinates of a height map to be synthesized by multiplying an image transformation matrix for the updated common coordinate system by a height map to be synthesized in the common coordinate system; And 상기 합성할 높이 맵의 변환좌표를 상기 공통좌표계에 합성하는 제4단계를 포함함을 특징으로 하는 높이 맵 합성방법.And a fourth step of synthesizing the converted coordinates of the height map to be synthesized into the common coordinate system. 상기 제2항에 있어서, 상기 제4단계는3. The method of claim 2, wherein the fourth step 상기 합성할 높이 맵의 변환좌표가 상기 공통좌표계에 이미 포함된 높이 맵의 좌표와 중첩되지 않으면, 상기 합성할 높이 맵의 변환좌표를 상기 공통좌표계에 그대로 포함시키는 단계;If the transformed coordinates of the height map to be composited do not overlap with the coordinates of the height map already included in the common coordinate system, including transformed coordinates of the height map to be composited in the common coordinate system; 상기 합성할 높이 맵의 변환좌표가 상기 공통좌표계에 이미 포함된 높이 맵의 좌표와 중첩되면, 상기 공통좌표계에 포함된 높이 맵의 높이 정보를 식When the transformation coordinates of the height map to be synthesized are overlapped with the coordinates of the height map already included in the common coordinate system, (여기에서, HZ(HX,HY)는 좌표(HX,HY)에서의 높이 정보이고, HZ1은 좌표(HX,HY)에서의 이전의 높이 정보이고, HZ2는 좌표(HX,HY)에서의 새로운 높이 정보이고, σ1은 공통좌표계의 높이 정보의 표준편차이고, σ2는 새로이 합성할 높이 맵의 변환좌표에서의 높이 정보의 표준편차이다.)(Here, the height information of the H Z (H X, H Y) is the coordinate (H X, H Y), and the previous height information of the H Z1 is the coordinate (H X, H Y), H Z2 is coordinates and the height information of the new (H X, H Y), σ 1 is the standard deviation of the height information of the common coordinate system, σ 2 is the standard deviation of the height information of the converted coordinates of the height map to the newly synthesized). 에 의해 갱신하는 단계; 및; And 상기 공통좌표계의 높이 정보의 표준편차를 식The standard deviation of the height information of the common coordinate system is expressed by Equation 에 의해 갱신하는 단계로 이루어지는 것을 특징으로 하는 높이 맵 합성방법.And a step of updating the height map.
KR1019960080085A 1996-12-31 1996-12-31 Method for generating height map using 2-dimensional video image KR100234196B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1019960080085A KR100234196B1 (en) 1996-12-31 1996-12-31 Method for generating height map using 2-dimensional video image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1019960080085A KR100234196B1 (en) 1996-12-31 1996-12-31 Method for generating height map using 2-dimensional video image

Publications (2)

Publication Number Publication Date
KR19980060719A true KR19980060719A (en) 1998-10-07
KR100234196B1 KR100234196B1 (en) 1999-12-15

Family

ID=19493422

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1019960080085A KR100234196B1 (en) 1996-12-31 1996-12-31 Method for generating height map using 2-dimensional video image

Country Status (1)

Country Link
KR (1) KR100234196B1 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8155386B2 (en) 2007-10-23 2012-04-10 Samsung Electronics Co., Ltd. Method and apparatus for obtaining depth information
KR20150031736A (en) * 2013-09-16 2015-03-25 삼성전자주식회사 Display apparatus and image processing method
CN113689391A (en) * 2021-08-16 2021-11-23 炬佑智能科技(苏州)有限公司 ToF device installation parameter acquisition method and system and ToF device

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102413756B (en) * 2009-04-29 2015-04-01 皇家飞利浦电子股份有限公司 Real-time depth estimation from monocular endoscope images
KR101320177B1 (en) 2011-10-24 2013-10-23 강원대학교산학협력단 Method for measuring movement of arm using depth sensor, and medium recording the same
US9247211B2 (en) 2012-01-17 2016-01-26 Avigilon Fortress Corporation System and method for video content analysis using depth sensing

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8155386B2 (en) 2007-10-23 2012-04-10 Samsung Electronics Co., Ltd. Method and apparatus for obtaining depth information
KR20150031736A (en) * 2013-09-16 2015-03-25 삼성전자주식회사 Display apparatus and image processing method
CN113689391A (en) * 2021-08-16 2021-11-23 炬佑智能科技(苏州)有限公司 ToF device installation parameter acquisition method and system and ToF device

Also Published As

Publication number Publication date
KR100234196B1 (en) 1999-12-15

Similar Documents

Publication Publication Date Title
CN110853075B (en) Visual tracking positioning method based on dense point cloud and synthetic view
US20020082800A1 (en) Method of composing three-dimensional multi-viewpoints data
US7106361B2 (en) System and method for manipulating the point of interest in a sequence of images
RU2215326C2 (en) Image-based hierarchic presentation of motionless and animated three-dimensional object, method and device for using this presentation to visualize the object
JP4803594B2 (en) Apparatus and program for generating free viewpoint image by local region segmentation
US5727093A (en) Image processing method and apparatus therefor
US20020113865A1 (en) Image processing method and apparatus
JP2003519421A (en) Method for processing passive volume image of arbitrary aspect
KR100897542B1 (en) Method and Device for Rectifying Image in Synthesizing Arbitary View Image
US20220092734A1 (en) Generation method for 3d asteroid dynamic map and portable terminal
US20230351625A1 (en) A method for measuring the topography of an environment
JPH05266146A (en) Representing device for body shape
CN113763569A (en) Image annotation method and device used in three-dimensional simulation and electronic equipment
JP3561446B2 (en) Image generation method and apparatus
CN114543787B (en) Millimeter-scale indoor map positioning method based on fringe projection profilometry
CN110619601A (en) Image data set generation method based on three-dimensional model
KR100234196B1 (en) Method for generating height map using 2-dimensional video image
JP2832463B2 (en) 3D model reconstruction method and display method
CN115719320A (en) Tilt correction dense matching method based on remote sensing image
JP6595878B2 (en) Element image group generation apparatus and program thereof
CN109089100B (en) Method for synthesizing binocular stereo video
CN113313751A (en) Automatic labeling method and system for image data target detection inclined frame
JPH0223473A (en) Variable density adding method and device for three-dimensional form model
JP2737940B2 (en) 3D image shading device
JPS61148576A (en) Method for generating airscape image by ultrahigh altitude photographed image

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20070703

Year of fee payment: 9

LAPS Lapse due to unpaid annual fee