KR101332021B1 - Method and apparatus for rotating depth map - Google Patents

Method and apparatus for rotating depth map Download PDF

Info

Publication number
KR101332021B1
KR101332021B1 KR1020110112449A KR20110112449A KR101332021B1 KR 101332021 B1 KR101332021 B1 KR 101332021B1 KR 1020110112449 A KR1020110112449 A KR 1020110112449A KR 20110112449 A KR20110112449 A KR 20110112449A KR 101332021 B1 KR101332021 B1 KR 101332021B1
Authority
KR
South Korea
Prior art keywords
rotation
depth map
depth
pixel
depth value
Prior art date
Application number
KR1020110112449A
Other languages
Korean (ko)
Other versions
KR20130047429A (en
Inventor
최종찬
박부식
Original Assignee
전자부품연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 전자부품연구원 filed Critical 전자부품연구원
Priority to KR1020110112449A priority Critical patent/KR101332021B1/en
Publication of KR20130047429A publication Critical patent/KR20130047429A/en
Application granted granted Critical
Publication of KR101332021B1 publication Critical patent/KR101332021B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G06T3/18—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/60—Rotation of a whole image or part thereof
    • G06T3/608—Skewing or deskewing, e.g. by two-pass or three-pass rotation

Abstract

깊이 지도 회전 장치가 깊이 지도를 회전하는 방법으로서, 회전 전 깊이 지도를 회전 정보에 따라 회전 이동하여 각 화소의 변환 위치 및 변환 깊이값을 계산하는 단계, 변환 위치 및 변환 깊이값과 회전 이동의 회전 방향을 기초로 변환 위치에서 다른 화소의 깊이값에 의해 가려지는 화소를 제거하여 제1 회전 깊이 지도를 생성하는 단계, 그리고 제1 회전 깊이 지도에서 회전 이동으로 인해 깊이값이 채워지지 않은 빈 위치를 찾고, 이웃의 깊이값을 기초로 빈 위치의 깊이값을 추정하여 회전 깊이 지도를 생성하는 단계를 포함한다.A method of rotating a depth map, the depth map rotating device comprising: calculating a transform position and a transform depth value of each pixel by rotating the depth map before rotation according to the rotation information, and rotating the transform position and the transform depth value and the rotation movement. Generating a first rotation depth map by removing the pixels obscured by the depth value of another pixel at the conversion position based on the direction, and empty positions whose depth values are not filled due to rotation movement in the first rotation depth map. And generating a rotation depth map by estimating the depth value of the empty position based on the depth value of the neighbor.

Description

깊이 지도 회전 방법 및 장치{METHOD AND APPARATUS FOR ROTATING DEPTH MAP}METHOD AND APPARATUS FOR ROTATING DEPTH MAP}

본 발명은 깊이 지도 회전 방법 및 장치에 관한 것이다.The present invention relates to a depth map rotation method and apparatus.

깊이 지도(depth map)는 영상 내에 존재하는 객체들의 3차원 거리 정보를 가지는 영상으로서, 깊이 지도의 화소는 해당 화소의 깊이값을 나타낸다. 깊이 지도는 깊이 카메라를 통해 생성되거나, 색상 영상 사이의 스테레오 정합(stereo matching)을 통해 구한 변위(disparity) 정보를 통해 생성될 수 있다. 3차원 영상 시스템에서는 깊이 지도의 품질이 3차원 영상의 품질에 영향을 미치므로 정확한 깊이값을 가지는 깊이 지도가 필요하다.A depth map is an image having 3D distance information of objects existing in the image, and pixels of the depth map represent depth values of the corresponding pixels. The depth map may be generated through a depth camera or through displacement information obtained through stereo matching between color images. In the 3D imaging system, since the quality of the depth map affects the quality of the 3D image, a depth map having an accurate depth value is required.

지금까지의 깊이 지도 회전 장치는 3D 모델링으로 나온 객체를 회전할 때, 3D 모델의 폴리곤을 구성하는 모든 점의 벡터 정보를 알고 있다. 따라서, 지금까지의 깊이 지도 회전 장치는 회전이나 이동 등의 변환 과정을 거쳐도 정확한 결과를 얻을 수 있다. 그러나, 깊이 지도 회전 장치가 폴리곤의 모든 벡터 정보를 알지 못하는 경우, 여러 화소가 동일한 한 위치로 이동하는 충돌이 발생하거나, 실제와 다른 깊이값이 매핑될 수 있다. 특히, 깊이 지도 회전에 의해 어느 위치로는 화소가 이동되지 않아 깊이값이 매핑되지 않는 문제가 발생할 수 있다.So far, the depth map rotation device knows the vector information of all the points that make up the polygon of the 3D model when rotating the object resulting from 3D modeling. Therefore, the depth map rotation device so far can obtain accurate results even after the conversion process such as rotation or movement. However, when the depth map rotation apparatus does not know all the vector information of the polygon, a collision occurs in which several pixels move to the same position, or a depth value different from the actual map may be mapped. In particular, the pixel may not be moved to any position due to the rotation of the depth map, which may cause a problem that the depth value is not mapped.

본 발명이 해결하고자 하는 과제는 깊이 지도 회전 시 이동한 이미지의 위치 정보와 회전 방향을 기초로 오류 없이 깊이 지도를 복원하는 깊이 지도 회전 방법을 제공하는 것이다.An object of the present invention is to provide a depth map rotation method for restoring a depth map without error based on the position information and the rotation direction of an image moved when the depth map is rotated.

본 발명의 한 실시예에 따른 깊이 지도 회전 장치가 깊이 지도를 회전하는 방법으로서, 회전 전 깊이 지도를 회전 정보에 따라 회전 이동하여 각 화소의 변환 위치 및 변환 깊이값을 계산하는 단계, 상기 변환 위치 및 변환 깊이값과 상기 회전 이동의 회전 방향을 기초로 변환 위치에서 다른 화소의 깊이값에 의해 가려지는 화소를 제거하여 제1 회전 깊이 지도를 생성하는 단계, 그리고 상기 제1 회전 깊이 지도에서, 상기 회전 이동으로 인해 깊이값이 채워지지 않은 빈 위치를 찾고, 이웃의 깊이값을 기초로 상기 빈 위치의 깊이값을 추정하여 최종 회전 깊이 지도를 생성하는 단계를 포함한다.A method of rotating a depth map by a depth map rotating apparatus according to an embodiment of the present invention, the method comprising: calculating a transformation position and a transformation depth value of each pixel by rotating the depth map before rotation according to rotation information, wherein the transformation position And generating a first rotation depth map by removing a pixel obscured by a depth value of another pixel at a conversion position based on the conversion depth value and the rotation direction of the rotation movement, and in the first rotation depth map, The method may further include finding a bin position whose depth value is not filled due to the rotation movement, and estimating a depth value of the bin position based on a neighboring depth value to generate a final rotation depth map.

상기 제1 회전 깊이 지도를 생성하는 단계는 돌출된 화소의 깊이값이 작아지는 방향으로 회전한 경우, 기준 화소보다 낮은 위치로 이동한 화소 중에서, 상기 회전 이동 전에는 상기 기준 화소보다 높은 위치에 있었던 제거 후보 화소를 찾고, 상기 기준 화소와 상기 제거 후보 화소의 변환 깊이값을 비교하여 상기 제거 후보 화소 중에서 가려지는 화소를 찾을 수 있다.The generating of the first rotation depth map may include removing pixels that were higher than the reference pixel before the rotational movement among pixels moved to a position lower than the reference pixel when the first rotation depth map is rotated in a direction in which the depth value of the protruding pixel decreases. A candidate pixel may be found, and a pixel that is hidden among the removal candidate pixels may be found by comparing the transform depth values of the reference pixel and the removal candidate pixel.

상기 제2 회전 깊이 지도를 생성하는 단계는 돌출된 화소의 깊이값이 커지는 방향으로 회전한 경우, 기준 화소보다 높은 위치로 이동한 화소 중에서, 상기 회전 이동 전에는 상기 기존 화소보다 낮은 위치에 있었던 제거 후보 화소를 찾고, 상기 기준 화소와 상기 제거 후보 화소의 변환 깊이값을 비교하여 상기 제거 후보 화소 중에서 가려지는 화소를 찾을 수 있다.The generating of the second rotation depth map may include removing candidates that were lower than the existing pixel before the rotational movement among the pixels moved to a position higher than the reference pixel when the depth value of the protruding pixel is rotated. The pixel may be found, and a pixel that is hidden among the removal candidate pixels may be found by comparing a conversion depth value of the reference pixel and the removal candidate pixel.

상기 방법은 상기 회전 전 깊이 지도에서 깊이값이 채워져 있다가 상기 회전 이동으로 인해 깊이값이 채워지지 않은 상기 빈 위치를 표시하는 표시 정보를 상기 제1 회전 깊이 지도에 삽입하는 단계를 더 포함하며, 상기 최종 회전 깊이 지도를 생성하는 단계는 상기 표시 정보를 기초로 상기 회전 이동으로 깊이값이 채워지지 않은 상기 빈 위치를 찾을 수 있다.The method further includes inserting display information indicating the empty position where the depth value is filled in the depth map before rotation and the depth value is not filled due to the rotational movement, to the first rotation depth map, The generating of the final rotation depth map may find the empty position where the depth value is not filled by the rotation movement based on the display information.

상기 각 화소의 변환 위치 및 변환 깊이값을 계산하는 단계는 동일 위치로 회전 이동한 복수의 중복 화소가 있는 경우, 상기 중복 화소 중에서 가장 큰 변환 깊이값을 상기 동일 위치의 깊이값으로 선택할 수 있다.In the calculating of the conversion position and the conversion depth value of each pixel, when there are a plurality of overlapping pixels rotated to the same position, the largest conversion depth value among the overlapping pixels may be selected as the depth value of the same location.

상기 제1 회전 깊이 지도를 생성하는 단계는 회전축에 수직인 평면별로 대응하는 상기 제1 회전 깊이 지도를 생성할 수 있다.The generating of the first rotation depth map may generate the first rotation depth map corresponding to each plane perpendicular to the rotation axis.

본 발명의 다른 실시예에 따른 깊이 지도를 회전하는 깊이 지도 회전 장치로서, 회전 전 깊이 지도를 회전 정보에 따라 회전 이동하여 각 화소의 변환 위치 및 변환 깊이값을 계산하고, 복수의 화소가 동일한 위치로 이동한 동일 위치의 깊이값을 결정하는 회전 이동부, 상기 변환 위치 및 변환 깊이값과 상기 회전 이동의 회전 방향을 기초로 변환 위치에서 다른 화소의 깊이값에 의해 가려지는 화소를 제거하여 제1 회전 깊이 지도를 생성하는 제거부, 그리고 상기 제1 회전 깊이 지도에서, 상기 회전 이동으로 인해 깊이값이 채워지지 않은 빈 위치를 찾고, 이웃의 깊이값을 기초로 상기 빈 위치의 깊이값을 추정하여 최종 회전 깊이 지도를 생성하는 추정부를 포함한다.A depth map rotation apparatus for rotating a depth map according to another embodiment of the present invention, wherein the depth map before rotation is rotated according to rotation information to calculate a conversion position and a conversion depth value of each pixel, and a plurality of pixels are the same position. A rotation moving unit for determining a depth value of the same position moved to the first position by removing the pixels obscured by the depth value of another pixel at the transformation position based on the transformation position and the transformation depth value and the rotation direction of the rotation movement; In the removal unit for generating a rotation depth map, and in the first rotation depth map, to find the empty position that the depth value is not filled due to the rotation movement, and to estimate the depth value of the empty position based on the neighbor depth value And an estimator for generating a final rotation depth map.

상기 추정부는 상기 회전 전 깊이 지도에서 깊이값이 채워져 있다가 상기 회전 이동으로 인해 깊이값이 채워지지 않은 위치를 표시하는 표시 정보를 기초로 상기 빈 위치를 찾을 수 있다.The estimator may find the empty position based on display information indicating a position where the depth value is filled in the depth map before rotation and the depth value is not filled due to the rotation movement.

본 발명의 실시예에 따르면 깊이 지도를 회전하더라도 회전에 의한 깊이값의 중복을 방지하고, 회전에 의해 깊이값이 빈 위치를 찾아 깊이값을 채우므로 깊이 지도 회전 장치가 모든 위치의 깊이값을 알지 못해도 회전 후 깊이 지도를 오류 없이 복원할 수 있다. According to an embodiment of the present invention, even if the depth map is rotated, the overlapping of the depth values is prevented, and the depth map rotation device does not know the depth values of all the positions because the depth value finds an empty position and fills the depth value by the rotation. If not, the depth map can be restored without error after rotation.

도 1은 본 발명의 한 실시예에 따른 깊이 지도 회전을 나타내는 도면이다.
도 2는 본 발명의 한 실시예에 따른 3차원 좌표를 나타내는 도면이다.
도 3은 본 발명의 한 실시예에 따른 회전 전 깊이 지도이다.
도 4는 본 발명의 한 실시예에 따른 깊이 지도 회전을 나타내는 도면이다.
도 5는 본 발명의 한 실시예에 따른 복원된 깊이 지도를 나타내는 도면이다.
도 6은 본 발명의 한 실시예에 따른 깊이 지도 회전 방법의 흐름도이다.
도 7은 본 발명의 한 실시예에 따른 깊이 지도 회전 장치의 블록도이다.1 is a diagram illustrating a rotation of a depth map according to an embodiment of the present invention.
2 is a diagram illustrating three-dimensional coordinates according to an embodiment of the present invention.
3 is a depth map before rotation according to an embodiment of the present invention.
4 illustrates a depth map rotation according to an embodiment of the present invention.
5 is a diagram illustrating a restored depth map according to an embodiment of the present invention.
6 is a flowchart of a depth map rotation method according to an embodiment of the present invention.
7 is a block diagram of a depth map rotating apparatus according to an embodiment of the present invention.

아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.DETAILED DESCRIPTION Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those skilled in the art may easily implement the present invention. The present invention may, however, be embodied in many different forms and should not be construed as limited to the embodiments set forth herein. In order to clearly illustrate the present invention, parts not related to the description are omitted, and similar parts are denoted by like reference characters throughout the specification.

명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.Throughout the specification, when a part is said to "include" a certain component, it means that it can further include other components, except to exclude other components unless otherwise stated.

이제 도면을 참고하여 깊이 지도 회전 방법 및 장치에 대하여 상세하게 설명한다.A method and apparatus for rotating depth map will now be described in detail with reference to the drawings.

도 1은 본 발명의 한 실시예에 따른 깊이 지도 회전을 나타내는 도면이고, 도 2는 본 발명의 한 실시예에 따른 3차원 좌표를 나타내는 도면이다.1 is a diagram illustrating a rotation of a depth map according to an embodiment of the present invention, and FIG. 2 is a diagram illustrating three-dimensional coordinates according to an embodiment of the present invention.

먼저, 도 1을 참고하면, 깊이 지도(depth map)는 영상 내에 존재하는 객체들의 3차원 거리 정보를 가지는 지도로서, 일정 크기의 격자 화소(pixel)로 구성되며, 각 화소는 해당 위치의 깊이값(depth value)을 포함한다. 여기서 깊이 지도는 스테레오 이미지 프로세싱이나 패턴분석 등 다양한 방법으로 획득할 수 있다. First, referring to FIG. 1, a depth map is a map having three-dimensional distance information of objects existing in an image, and is composed of grid pixels having a predetermined size, and each pixel has a depth value of a corresponding position. (depth value). The depth map may be obtained by various methods such as stereo image processing or pattern analysis.

깊이 지도(200)에 두 개의 화소(20, 30)가 있다고 가정한다. 두 화소(20, 30) 각각은 회전축(40)과 일정 거리 떨어져 있고, 일정의 깊이값(d1, d2)을 각각 가지고 있다. 이때 깊이값은 거리 정보이므로, 회전에 의한 깊이값의 변화를 비교하기 위해 두 화소(20, 30)를 깊이 지도(200)에서 깊이값에 해당하는 일정 거리(d1, d2) 떨어진 3차원으로 표현한다.Assume that there are two pixels 20 and 30 in the depth map 200. Each of the two pixels 20 and 30 is separated from the rotation axis 40 by a predetermined distance, and has a predetermined depth value d1 and d2, respectively. In this case, since the depth value is distance information, two pixels 20 and 30 are expressed in three dimensions spaced apart from the depth map 200 by a predetermined distance d1 and d2 in order to compare the change in the depth value due to rotation. do.

깊이 지도 회전 장치(100)는 깊이 지도(200)를 회전축(40)으로 일정 각도(

Figure 112011085605224-pat00001
) 회전시킨다. 회전 전 깊이 지도(200)의 두 화소(20, 30)는 회전 후 깊이 지도(210)에서 다른 위치(21, 31)로 각각 이동한다. 이때, 회전으로 화소(20)의 깊이값은 v1만큼 변하고, 화소(30)의 깊이값은 v2만큼 변한다. 화소(20)는 회전축(40)과 가깝기 때문에 회전축(40)에서 더 멀리 떨어진 화소(30)보다 회전 후의 깊이값 변화량이 적다. 이때, 깊이 지도 회전 장치(100)가 회전 각도 등의 회전 정보를 알고, 각 화소의 깊이값을 안다면, 깊이 지도 회전 장치(100)는 각 화소가 어느 좌표로 이동하고 깊이값이 어떻게 변했는지 계산할 수 있다.The depth map rotating device 100 rotates the depth map 200 by the rotation axis 40 at a predetermined angle (
Figure 112011085605224-pat00001
) Rotate The two pixels 20 and 30 of the depth map 200 before rotation move to different positions 21 and 31 on the depth map 210 after rotation. At this time, the depth value of the pixel 20 changes by v1 and the depth value of the pixel 30 changes by v2 by rotation. Since the pixel 20 is close to the rotation axis 40, the amount of change in depth value after rotation is smaller than that of the pixel 30 further away from the rotation axis 40. At this time, if the depth map rotation apparatus 100 knows rotation information such as a rotation angle and knows the depth value of each pixel, the depth map rotation apparatus 100 may calculate which coordinates each pixel moves to and how the depth value changes. Can be.

다음 도 2를 참고하면, 깊이 지도 회전 장치(100)는 깊이 지도(200)를 회전축(40)으로 회전한다. 예를 들어, 깊이 지도 회전 장치(100)는 y축을 회전축(40)으로 결정하여 회전할 수 있다. 이때, z축은 깊이값을 나타내고, x축은 각 화소의 행에 해당하는 위치를 나타낸다고 가정한다.Next, referring to FIG. 2, the depth map rotating apparatus 100 rotates the depth map 200 by the rotation shaft 40. For example, the depth map rotating apparatus 100 may rotate by determining the y axis as the rotation axis 40. In this case, it is assumed that the z-axis represents a depth value and the x-axis represents a position corresponding to a row of each pixel.

깊이 지도 회전 장치(100)가 y축(40)으로 깊이 지도(200)를 회전하는 경우, 회전 후 변화 깊이값과 변화 위치는 수학식 1과 같이 계산된다.When the depth map rotating device 100 rotates the depth map 200 on the y axis 40, the change depth value and the change position after the rotation are calculated as in Equation 1 below.

Figure 112011085605224-pat00002
Figure 112011085605224-pat00002

수학식 1에서 Z는 깊이 지도(200)의 깊이값이고, Z'은 깊이 지도(210)로 변한 깊이값이다. X는 깊이 지도(200)의 화소 위치이고, X'은 깊이 지도(210)로 이동한 새로운 위치이다.In Equation 1, Z is a depth value of the depth map 200, and Z 'is a depth value changed to the depth map 210. X is the pixel position of the depth map 200, and X 'is the new position moved to the depth map 210.

도 3은 본 발명의 한 실시예에 따른 회전 전 깊이 지도이고, 도 4는 본 발명의 한 실시예에 따른 깊이 지도 회전을 나타내는 도면이며, 도 5는 본 발명의 한 실시예에 따른 복원된 깊이 지도를 나타내는 도면이다.3 is a depth map before rotation according to an embodiment of the present invention, Figure 4 is a view showing the rotation of the depth map according to an embodiment of the present invention, Figure 5 is a restored depth according to an embodiment of the present invention It is a figure which shows a map.

도 3을 참고하면, 깊이 지도(300)는 회전축인 y축의 특정 위치에서의 x-z 평면의 단면도이다. 깊이 지도(300)에서 z축은 깊이값을 나타내고, x축은 깊이 지도의 위치(x1, x2, x3, x4,..., x14, x15)를 나타낸다. 깊이 지도의 위치(x1, x2, x3, x4,..., x14, x15)에 일정 깊이값의 화소(1, 2, 3,..., 13, 14, 15)가 있다.Referring to FIG. 3, the depth map 300 is a cross-sectional view of the xz plane at a specific position of the y axis, which is a rotation axis. In the depth map 300, the z axis represents a depth value, and the x axis represents a position of the depth map (x 1 , x 2 , x 3 , x 4 ,..., X 14 , x 15 ). A depth map location (x 1, x 2, x 3, x 4, ..., x 14, x 15) pixels of a predetermined depth value to the (1, 2, 3, ..., 13, 14, 15) There is.

도 4를 참고하면, 깊이 지도 회전 장치(100)가 수학식 1을 기초로 깊이 지도 (300)를 y축으로 회전하면, x축에 새로운 깊이값이 이동한 회전 후 깊이 지도(400)가 생성된다.Referring to FIG. 4, when the depth map rotating apparatus 100 rotates the depth map 300 along the y axis based on Equation 1, the depth map 400 is generated after the rotation of the new depth value on the x axis. do.

깊이 지도(400)를 살펴보면, 도 3의 화소(1, 2, 3,..., 13, 14, 15)의 위치와 깊이값은 회전에 의해 새로운 위치와 깊이값으로 변한다. Referring to the depth map 400, the position and depth values of the pixels 1, 2, 3,..., 13, 14, and 15 of FIG. 3 are changed to a new position and depth value by rotation.

위치 x15에서는 x11에 위치했던 화소(11)가 이동하여, 화소(15)와 동일한 위치에 놓일 수 있다. 이 경우, 위치가 중복된 화소(11, 15)의 깊이값이 충돌할 수 있다. At position x 15 , the pixel 11 positioned at x 11 may move to be positioned at the same position as the pixel 15. In this case, depth values of the pixels 11 and 15 having overlapped positions may collide.

그리고, 위치 x13, x14, x15에서는 화소(13, 14, 15)가 돌출된 화소(9, 10, 11)에 의해 가려질 수 있다. 특히, 위치 x12는 돌출된 부분의 깊이값에 대응하는 화소가 없어, 결국 화소(12)의 깊이값에 의해 실제 돌출된 깊이값과 달라질 수 있다. The pixels 13, 14, and 15 may be covered by the protruding pixels 9, 10, and 11 at positions x 13 , x 14, and x 15 . In particular, the position x 12 has no pixel corresponding to the depth value of the protruding portion, and thus may be different from the actual protruding depth value by the depth value of the pixel 12.

또한, 위치 x1, x10, x11에서는 회전 후에 새롭게 이동해온 화소가 없어, 회전 후 깊이값을 결정할 수 없다. In addition, at the positions x 1 , x 10, and x 11 , there are no pixels newly moved after the rotation, and the depth value after the rotation cannot be determined.

이와 같이, 깊이 지도를 수학식 1에 의해 단순히 회전하는 경우, 실제 이미지에 대응하는 깊이값이 정확히 매핑되지 못해 깊이 지도에 오류가 발생할 수 있다. As such, when the depth map is simply rotated by Equation 1, an error may occur in the depth map because the depth value corresponding to the actual image is not mapped correctly.

따라서, 도 5를 참고하면, 깊이 지도 회전 장치(100)는 회전 후 깊이 지도(400)의 깊이값을 그대로 이용하는 대신, 회전 시 이동한 화소의 위치 정보와 회전 방향을 기초로 회전 후 깊이 지도(400)를 후처리하여 최종 깊이 지도(500)를 생성한다. 이를 위해, 깊이 지도 회전 장치(100)는 위치가 중복된 화소와 다른 화소에 의해 가져진 화소(12, 13, 14, 15)를 제거한다. 그리고, 깊이 지도 회전 장치(100)는 회전으로 깊이값이 비어있는 위치에 표시 정보, 예를 들면 플래그(flag)를 추가하고, 플래그 정보를 기초로 비어있는 위치(x1, x10, x11, x12)의 깊이값을 추정한다. Therefore, referring to FIG. 5, the depth map rotation apparatus 100 may not use the depth value of the depth map 400 after rotation as it is, but based on the position information and the rotation direction of the pixel moved during rotation, the depth map after rotation ( 400 is post-processed to produce the final depth map 500. To this end, the depth map rotation apparatus 100 removes the pixels 12, 13, 14, and 15 brought by pixels different from the overlapping positions. In addition, the depth map rotation apparatus 100 adds display information, for example, a flag, to a position where the depth value is empty by rotation, and the empty position (x 1 , x 10, x 11 ) based on the flag information. , x 12 ) is estimated.

도 6은 본 발명의 한 실시예에 따른 깊이 지도 회전 방법의 흐름도이다.6 is a flowchart of a depth map rotation method according to an embodiment of the present invention.

도 6을 참고하면, 깊이 지도 회전 장치(100)는 회전 전 깊이 지도를 회전 정보에 따라 회전 이동하여 각 화소의 변환 위치 및 변환 깊이값을 계산한다(S610). 회전 정보는 회전축과 회전 각도를 포함할 수 있다.Referring to FIG. 6, the depth map rotation apparatus 100 calculates a conversion position and a conversion depth value of each pixel by rotating the depth map before rotation according to the rotation information (S610). The rotation information may include a rotation axis and a rotation angle.

깊이 지도 회전 장치(100)는 복수의 화소가 동일 위치로 회전 이동했는지 판단하여, 해당 위치의 깊이값을 결정한다(S620). 이때, 깊이 지도 회전 장치(100)는 회전으로 동일한 위치에 놓인 화소(11, 15)의 변화 깊이값 중에서, 가장 큰 변환 깊이값을 해당 위치(x15)의 깊이값으로 선택한다.The depth map rotation apparatus 100 determines whether the plurality of pixels are rotated to the same position, and determines a depth value of the corresponding position (S620). At this time, the depth map rotation apparatus 100 selects the largest conversion depth value among the change depth values of the pixels 11 and 15 positioned at the same position by rotation as the depth value of the corresponding position x 15 .

깊이 지도 회전 장치(100)는 변환 위치에서 다른 화소의 깊이값에 의해 가려지는 화소를 제거한다(S630). 깊이 지도 회전 장치(100)는 돌출된 위치, 즉 깊이값이 큰 화소(9, 10, 11)가 회전 이동하면, 돌출되지 않는 이웃 화소들을 가릴 수 있다. 이렇게 가려지는 화소들은 실제로 깊이 지도에 나타나지 않아야 하므로, 깊이 지도 회전 장치(100)는 가려지는 화소를 제거한다. 이를 위해, 깊이 지도 회전 장치(100)는 회전 방향을 고려하여 가려지는 화소를 찾는데, 회전으로 인해 도 4와 같이 카메라가 회전 전 위치보다 아래 방향을 더 바라보게 되는 경우인지, 카메라가 회전 전 위치보다 위 방향을 더 바라보게 되는 경우인지에 따라 찾는 방법을 다르게 할 수 있다. 이때, 도 4와 같이 회전하면 돌출된 화소의 깊이값이 작아지는 방향으로 회전하는 경우이고, 도 4와 반대로 회전하면 돌출된 화소의 깊이값이 커지는 방향으로 회전하는 경우이다. 깊이 지도 회전 장치(100)는 돌출된 화소의 깊이값이 작아지는 방향으로 회전한 경우, 기준 화소보다 낮은 위치로 이동한 화소 중에서, 회전 이동 전에는 기준 화소보다 높은 위치에 있었던 제거 후보 화소를 찾는다. 그리고, 깊이 지도 회전 장치(100)는 제거 후보 화소 중에서 기준 화소보다 작은 깊이값을 가지는 화소를 제거한다. 이때, 깊이 지도 회전 장치(100)는 맨 위(x12)에 있는 화소(11)부터 내려가면서 기준 화소를 설정한다. 만약, 깊이 지도 회전 장치(100)가 돌출된 화소의 깊이값이 커지는 방향으로 회전한 경우라면, 기준 화소보다 높은 위치로 이동한 화소 중에서, 회전 이동 전에는 기존 화소보다 낮은 위치에 있었던 제거 후보 화소를 찾는다. 그리고, 깊이 지도 회전 장치(100)는 제거 후보 화소 중에서 기준 화소보다 작은 깊이값을 가지는 화소를 제거한다. 이때, 깊이 지도 회전 장치(100)는 맨 아래에 있는 화소부터 올라가면서 기준 화소를 설정한다.The depth map rotation apparatus 100 removes a pixel covered by the depth value of another pixel at the transformation position (S630). The depth map rotation apparatus 100 may cover neighboring pixels that do not protrude when the protruding position, that is, the pixels 9, 10, 11 having a large depth value are rotated. Since the pixels that are thus obscured should not actually appear on the depth map, the depth map rotation apparatus 100 removes the pixels that are obscured. To this end, the depth map rotation apparatus 100 finds a pixel that is hidden in consideration of the direction of rotation, and if the camera faces more downward than the position before rotation as shown in FIG. The way you find it depends on whether you are looking more upward. In this case, when rotating as shown in FIG. 4, the depth value of the protruding pixel is reduced. When rotating as opposed to FIG. 4, the depth value of the protruding pixel is rotated. When the depth map rotation apparatus 100 rotates in a direction in which the depth value of the protruding pixel decreases, the depth map rotation apparatus 100 searches for a removal candidate pixel that was at a position higher than the reference pixel before the rotation movement among the pixels moved to a position lower than the reference pixel. The depth map rotation apparatus 100 removes a pixel having a depth value smaller than that of the reference pixel among the removal candidate pixels. At this time, the depth map rotating apparatus 100 sets the reference pixel while descending from the pixel 11 at the top (x 12 ). If the depth map rotation apparatus 100 is rotated in a direction in which the depth value of the protruding pixel is increased, among the pixels moved to a position higher than the reference pixel, the removal candidate pixel that is at a position lower than the existing pixel before the rotation movement is selected. Find. The depth map rotation apparatus 100 removes a pixel having a depth value smaller than that of the reference pixel among the removal candidate pixels. At this time, the depth map rotation apparatus 100 sets the reference pixel while going up from the pixel at the bottom.

깊이 지도 회전 장치(100)는 회전 전 깊이 지도에서 깊이값이 채워져 있다가 회전 이동으로 인해 깊이값이 채워지지 않은 빈 위치를 표시한다(S640). 이때, 깊이 지도 회전 장치(100)는 깊이 지도에서 제거한 중복 화소나, 가려지는 화소는 이미 제거되었으므로 해당 위치는 깊이값이 비어있다. 따라서, 도 4를 참고하여 설명한 바와 같이, x1, x10, x11, x12는 회전 전에는 깊이값이 채워져 있었지만, 회전 후에 대응하는 화소가 없어, 회전 깊이 지도의 깊이값을 결정할 수 없다. 따라서, 깊이 지도 회전 장치(100)는 이렇게 깊이 지도의 각 위치에 깊이값이 비어 있는 위치를 구분하기 위한 표시 정보를 삽입한다. 이때 표시 정보는 깊이값의 유효 여부를 나타내는 유효(valid) 플래그 정보일 수 있다. 예를 들어, 깊이값이 빈 위치(x1, x10, x11, x12)는 플래그 정보 값을 0으로 표시할 수 있다. The depth map rotation apparatus 100 displays an empty position in which the depth value is not filled in the depth map before rotation, but the depth value is not filled due to the rotational movement (S640). In this case, the depth map rotation apparatus 100 has a depth value that is empty because the overlapping pixels removed from the depth map or the pixels that are hidden are already removed. Therefore, as described with reference to FIG. 4, x 1 , x 10, x 11, and x 12 have been filled with depth values before rotation, but there is no corresponding pixel after rotation, and thus the depth value of the rotation depth map cannot be determined. Therefore, the depth map rotating apparatus 100 inserts display information for distinguishing a position where the depth value is empty at each position of the depth map. In this case, the display information may be valid flag information indicating whether the depth value is valid. For example, the location where the depth value is empty (x 1 , x 10, x 11, x 12 ) may indicate the flag information value as zero.

깊이 지도 회전 장치(100)는 회전 이동으로 인해 깊이값이 채워지지 않은 빈 위치의 깊이값을 추정하여 최종 회전 깊이 지도를 생성한다(S650). 깊이 지도 회전 장치(100)는 이웃의 깊이값을 기초로 빈 위치의 깊이값을 추정한다. 예를 들어, 깊이 지도 회전 장치(100)는 일차함수를 이용한 중간값 추정 방법을 이용할 수 있다. 즉, 깊이 지도 회전 장치(100)는 연속적으로 비어 있는 위치에 인접한 위, 아래 두 위치의 깊이값을 선택한다. 그리고 깊이 지도 회전 장치(100)는 그 두 위치 사이에 직선을 만들고 이 직선이 지나가는 값을 추정 깊이값으로 결정할 수 있다.The depth map rotating apparatus 100 generates a final rotation depth map by estimating a depth value of an empty position in which the depth value is not filled due to the rotation movement (S650). The depth map rotating apparatus 100 estimates the depth value of the empty position based on the depth value of the neighbor. For example, the depth map rotation apparatus 100 may use a median estimation method using a linear function. That is, the depth map rotating apparatus 100 continuously selects depth values of two positions, which are adjacent to empty positions. In addition, the depth map rotating apparatus 100 may make a straight line between the two positions and determine a value through which the straight line passes as an estimated depth value.

깊이 지도 회전 장치(100)는 이렇게 회전 후 깊이 지도를 후처리하는데, 이러한 과정을 깊이 지도의 열에 해당하는 위치, 예를 들면 y축 상의 위치들에서 반복적으로 수행하고, 또한 깊이 지도의 행에 해당하는 x축 상의 위치마다 반복적으로 수행하여, 최종적으로 깊이 지도의 행과 열에 대응하는 위치의 깊이값을 채운다. The depth map rotating apparatus 100 post-processes the depth map after rotation, and this process is repeatedly performed at a position corresponding to a column of the depth map, for example, positions on the y-axis, and also corresponds to a row of the depth map. Iteratively performs for each position on the x-axis to finally fill the depth value of the position corresponding to the row and column of the depth map.

도 7은 본 발명의 한 실시예에 따른 깊이 지도 회전 장치의 블록도이다.7 is a block diagram of a depth map rotating apparatus according to an embodiment of the present invention.

도 7을 참고하면, 깊이 지도 회전 장치(100)는 회전 이동부(110), 제거부(130), 그리고 추정부(150)를 포함한다.Referring to FIG. 7, the depth map rotating apparatus 100 includes a rotation moving unit 110, a removing unit 130, and an estimating unit 150.

회전 이동부(110)는 회전 전 깊이 지도를 회전 정보에 따라 회전 이동하여 각 화소의 변환 위치 및 변환 깊이값을 계산한다. 그리고, 회전 이동부(110)는 복수의 화소가 동일한 위치로 이동한 경우, 가장 큰 변환 깊이값을 이 위치의 깊이값으로 결정한다.The rotation moving unit 110 rotates the depth map before rotation according to the rotation information to calculate the conversion position and the conversion depth value of each pixel. Then, when the plurality of pixels move to the same position, the rotation moving unit 110 determines the largest conversion depth value as the depth value of this position.

제거부(130)는 변환 위치 및 변환 깊이값과 회전 이동의 회전 방향을 기초로 변환 위치에서 다른 화소의 깊이값에 의해 가려지는 화소를 제거한다. 예를 들어, 제거부(130)는 도 4와 같이 회전한 경우라면, 맨 위(x12)에 있는 화소(11)부터 내려가면서 이 화소(11)에 의해 가려지는 화소를 찾는다. 즉, 제거부(130)는 화소(11)보다 낮은 위치로 이동한 화소 중에서, 회전 이동 전에는 화소(11)보다 높은 위치에 있었던 제거 후보 화소를 찾는다. 그리고, 깊이 지도 회전 장치(100)는 제거 후보 화소 중에서 화소(11)보다 깊이값이 작은 화소를 제거한다. 여기서, 깊이값이 크면 돌출되어 보이고, 깊이값이 작으면 뒤로 들어가 보이는 깊이감을 표현하므로, 깊이값이 작으면 깊이값이 큰 화소에 의해 가려지게 된다.The remover 130 removes a pixel that is obscured by a depth value of another pixel at the transformation position based on the transformation position and the transformation depth value and the rotation direction of the rotational movement. For example, when the removal unit 130 is rotated as shown in FIG. 4, the removal unit 130 searches for a pixel that is covered by the pixel 11 while descending from the pixel 11 at the top x 12 . That is, the removal unit 130 searches for the removal candidate pixel that was at the position higher than the pixel 11 before the rotational movement among the pixels moved to the position lower than the pixel 11. In addition, the depth map rotation apparatus 100 removes a pixel having a depth value smaller than that of the pixel 11 among the removal candidate pixels. Here, since the depth value is protruded, the depth value is small, and the depth value is displayed. Therefore, when the depth value is small, the depth value is obscured by pixels having a large depth value.

추정부(150)는 제거부(130)에서 제거된 깊이 지도에서 회전 이동으로 인해 깊이값이 채워지지 않은 빈 위치를 찾는다. 그리고, 추정부(150)는 이웃의 깊이값을 기초로 빈 위치의 깊이값을 추정하여 최종 회전 깊이 지도를 생성한다.The estimator 150 finds an empty position in which the depth value is not filled due to the rotational movement in the depth map removed by the remover 130. The estimator 150 generates a final rotation depth map by estimating the depth value of the empty position based on the neighbor depth value.

이와 같이 깊이 지도 회전 장치(100)는 깊이 지도 회전 시, 회전에 의한 깊이값의 중복을 방지하고, 회전으로 비어있는 깊이값을 추정하여 채우므로 모든 위치의 깊이값을 알지 못해도 회전 후 깊이 지도를 오류없이 복원할 수 있다. As described above, the depth map rotation apparatus 100 prevents duplication of depth values due to rotation during the rotation of the depth map, and estimates and fills the empty depth values by rotation, so that the depth map rotation without knowing the depth values of all positions is obtained. Can be restored without error.

이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments, It belongs to the scope of right.

Claims (8)

깊이 지도 회전 장치가 깊이 지도를 회전하는 방법으로서,
회전 전 깊이 지도를 회전 정보에 따라 회전 이동하여 각 화소의 변환 위치 및 변환 깊이값을 계산하는 단계,
상기 변환 위치 및 변환 깊이값과 상기 회전 이동의 회전 방향을 기초로 변환 위치에서 다른 화소의 깊이값에 의해 가려지는 화소를 제거하여 제1 회전 깊이 지도를 생성하는 단계, 그리고
상기 제1 회전 깊이 지도에서, 상기 회전 이동으로 인해 깊이값이 채워지지 않은 빈 위치를 찾고, 이웃의 깊이값을 기초로 상기 빈 위치의 깊이값을 추정하여 최종 회전 깊이 지도를 생성하는 단계
를 포함하는 깊이 지도 회전 방법.As the depth map rotator rotates the depth map,
Calculating a transformation position and a transformation depth value of each pixel by rotating the depth map before rotation according to the rotation information;
Generating a first rotation depth map by removing a pixel obscured by a depth value of another pixel at a transformation position based on the transformation position and the transformation depth value and the rotation direction of the rotational movement, and
In the first rotation depth map, finding an empty position where the depth value is not filled due to the rotation movement, and generating a final rotation depth map by estimating the depth value of the empty position based on the neighbor's depth value.
Depth map rotation method comprising a. 제1항에서,
상기 제1 회전 깊이 지도를 생성하는 단계는
돌출된 화소의 깊이값이 작아지는 방향으로 회전한 경우, 기준 화소보다 낮은 위치로 이동한 화소 중에서, 상기 회전 이동 전에는 상기 기준 화소보다 높은 위치에 있었던 제거 후보 화소를 찾고, 상기 기준 화소와 상기 제거 후보 화소의 변환 깊이값을 비교하여 상기 제거 후보 화소 중에서 가려지는 화소를 찾는 깊이 지도 회전 방법.In claim 1,
Generating the first rotation depth map
When the depth value of the protruding pixel is rotated, the removal candidate pixel which is higher than the reference pixel before the rotational movement is found among the pixels moved to a position lower than the reference pixel, and the reference pixel and the removal And converting a depth value of a candidate pixel to find a pixel that is hidden among the removal candidate pixels. 제1항에서,
상기 제1 회전 깊이 지도를 생성하는 단계는
돌출된 화소의 깊이값이 커지는 방향으로 회전한 경우, 기준 화소보다 높은 위치로 이동한 화소 중에서, 상기 회전 이동 전에는 상기 기준 화소보다 낮은 위치에 있었던 제거 후보 화소를 찾고, 상기 기준 화소와 상기 제거 후보 화소의 변환 깊이값을 비교하여 상기 제거 후보 화소 중에서 가려지는 화소를 찾는 깊이 지도 회전 방법.In claim 1,
Generating the first rotation depth map
When the depth value of the protruding pixel is rotated, the removal candidate pixel which is lower than the reference pixel before the rotation movement is found among the pixels moved to a position higher than the reference pixel, and the reference pixel and the removal candidate are found. A depth map rotation method for finding a pixel that is hidden among the candidate removal pixels by comparing the transform depth values of pixels. 제1항에서,
상기 회전 전 깊이 지도에서 깊이값이 채워져 있다가 상기 회전 이동으로 인해 깊이값이 채워지지 않은 상기 빈 위치를 표시하는 표시 정보를 상기 제1 회전 깊이 지도에 삽입하는 단계를 더 포함하며,
상기 최종 회전 깊이 지도를 생성하는 단계는
상기 표시 정보를 기초로 상기 회전 이동으로 깊이값이 채워지지 않은 상기 빈 위치를 찾는 깊이 지도 회전 방법.In claim 1,
Inserting, into the first rotation depth map, display information indicating the empty position in which the depth value is filled in the depth map before the rotation and the depth value is not filled due to the rotation movement;
Generating the final rotation depth map
And a depth map rotation method for finding the empty position whose depth value is not filled by the rotation movement based on the display information. 제1항에서,
상기 각 화소의 변환 위치 및 변환 깊이값을 계산하는 단계는
동일 위치로 회전 이동한 복수의 중복 화소가 있는 경우, 상기 중복 화소 중에서 가장 큰 변환 깊이값을 상기 동일 위치의 깊이값으로 선택하는 깊이 지도 회전 방법.In claim 1,
Calculating the conversion position and the conversion depth value of each pixel
And a plurality of overlapping pixels rotated to the same position, and selecting the largest transform depth value among the overlapping pixels as the depth value of the same position. 제1항에서,
상기 제1 회전 깊이 지도를 생성하는 단계는
회전축에 수직인 평면별로 대응하는 상기 제1 회전 깊이 지도를 생성하는 깊이 지도 회전 방법.In claim 1,
Generating the first rotation depth map
And generating the first rotation depth map corresponding to each plane perpendicular to the axis of rotation. 깊이 지도를 회전하는 깊이 지도 회전 장치로서,
회전 전 깊이 지도를 회전 정보에 따라 회전 이동하여 각 화소의 변환 위치 및 변환 깊이값을 계산하고, 복수의 화소가 동일한 위치로 이동한 동일 위치의 깊이값을 결정하는 회전 이동부,
상기 변환 위치 및 변환 깊이값과 상기 회전 이동의 회전 방향을 기초로 변환 위치에서 다른 화소의 깊이값에 의해 가려지는 화소를 제거하여 제1 회전 깊이 지도를 생성하는 제거부, 그리고
상기 제1 회전 깊이 지도에서, 상기 회전 이동으로 인해 깊이값이 채워지지 않은 빈 위치를 찾고, 이웃의 깊이값을 기초로 상기 빈 위치의 깊이값을 추정하여 최종 회전 깊이 지도를 생성하는 추정부
를 포함하는 깊이 지도 회전 장치.A depth map rotator that rotates a depth map,
A rotation moving unit which rotates the depth map before rotation according to the rotation information to calculate the conversion position and the conversion depth value of each pixel, and determines the depth value of the same position where the plurality of pixels are moved to the same position;
A removal unit for generating a first rotation depth map by removing a pixel obscured by a depth value of another pixel at a transformation position based on the transformation position and the transformation depth value and the rotation direction of the rotational movement, and
In the first rotation depth map, an estimator for finding an empty position where the depth value is not filled due to the rotation movement, and estimating the depth value of the empty position based on the neighbor depth value to generate a final rotation depth map.
Depth map rotating device comprising a. 제7항에서,
상기 추정부는
상기 회전 전 깊이 지도에서 깊이값이 채워져 있다가 상기 회전 이동으로 인해 깊이값이 채워지지 않은 위치를 표시하는 표시 정보를 기초로 상기 빈 위치를 찾는 깊이 지도 회전 장치.In claim 7,
The estimation unit
And a depth map rotating device that finds the empty position based on display information indicating a position where the depth value is filled in the depth map before the rotation and the depth value is not filled due to the rotational movement.
KR1020110112449A 2011-10-31 2011-10-31 Method and apparatus for rotating depth map KR101332021B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110112449A KR101332021B1 (en) 2011-10-31 2011-10-31 Method and apparatus for rotating depth map

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110112449A KR101332021B1 (en) 2011-10-31 2011-10-31 Method and apparatus for rotating depth map

Publications (2)

Publication Number Publication Date
KR20130047429A KR20130047429A (en) 2013-05-08
KR101332021B1 true KR101332021B1 (en) 2013-11-25

Family

ID=48658922

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110112449A KR101332021B1 (en) 2011-10-31 2011-10-31 Method and apparatus for rotating depth map

Country Status (1)

Country Link
KR (1) KR101332021B1 (en)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090040032A (en) * 2007-10-19 2009-04-23 광주과학기술원 Method and device for generating depth image using reference image, and method for encoding or decoding the said depth image, and encoder or decoder for the same, and the recording media storing the image generating the said method
KR20110134142A (en) * 2010-06-08 2011-12-14 에스케이플래닛 주식회사 Method and apparatus for transforming stereoscopic image by using depth map information

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090040032A (en) * 2007-10-19 2009-04-23 광주과학기술원 Method and device for generating depth image using reference image, and method for encoding or decoding the said depth image, and encoder or decoder for the same, and the recording media storing the image generating the said method
KR20110134142A (en) * 2010-06-08 2011-12-14 에스케이플래닛 주식회사 Method and apparatus for transforming stereoscopic image by using depth map information

Also Published As

Publication number Publication date
KR20130047429A (en) 2013-05-08

Similar Documents

Publication Publication Date Title
EP2538242B1 (en) Depth measurement quality enhancement.
US10762643B2 (en) Method for evaluating image data of a vehicle camera
JP4677536B1 (en) 3D object recognition apparatus and 3D object recognition method
US10529076B2 (en) Image processing apparatus and image processing method
JP6338021B2 (en) Image processing apparatus, image processing method, and image processing program
KR100793076B1 (en) Edge-adaptive stereo/multi-view image matching apparatus and its method
KR101973917B1 (en) Three-dimensional measuring device and its supporting method of measurement
KR101893788B1 (en) Apparatus and method of image matching in multi-view camera
JP6179639B2 (en) Road boundary detection method and detection apparatus
EP3367334B1 (en) Depth estimation method and depth estimation apparatus of multi-view images
JP2004213332A (en) Calibration device, calibration method, program for calibration, and calibration mending tool
KR20120092352A (en) Apparatus and method for providing argumented reality using image information
WO2007052191A2 (en) Filling in depth results
JPWO2013133129A1 (en) Moving object position / orientation estimation apparatus and moving object position / orientation estimation method
EP2924612A1 (en) Object detection device, object detection method, and computer readable storage medium comprising object detection program
CN112700486B (en) Method and device for estimating depth of road surface lane line in image
KR101453143B1 (en) Stereo matching process system, stereo matching process method, and recording medium
CN105989590B (en) Solid matching method and device
Miksch et al. Automatic extrinsic camera self-calibration based on homography and epipolar geometry
CN105335934B (en) Disparity map computational methods and device
JP2017517727A (en) Scale measurement of 3D information
JP2013205867A (en) Information processing unit, method, and program
KR101332021B1 (en) Method and apparatus for rotating depth map
JP2015033047A (en) Depth estimation device employing plural cameras
JP2017162024A (en) Stereo matching processing method, processing program and processing device

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee