KR101956312B1 - Depth Map Filtering and Two-level Predictor-Corrector Method for Precision Enhancement of RGB-D Camera Pose Estimation - Google Patents

Depth Map Filtering and Two-level Predictor-Corrector Method for Precision Enhancement of RGB-D Camera Pose Estimation Download PDF

Info

Publication number
KR101956312B1
KR101956312B1 KR1020170022963A KR20170022963A KR101956312B1 KR 101956312 B1 KR101956312 B1 KR 101956312B1 KR 1020170022963 A KR1020170022963 A KR 1020170022963A KR 20170022963 A KR20170022963 A KR 20170022963A KR 101956312 B1 KR101956312 B1 KR 101956312B1
Authority
KR
South Korea
Prior art keywords
level
frame
current frame
geometric transformation
reference frame
Prior art date
Application number
KR1020170022963A
Other languages
Korean (ko)
Other versions
KR20180096355A (en
Inventor
임인성
정영호
Original Assignee
서강대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 서강대학교산학협력단 filed Critical 서강대학교산학협력단
Priority to KR1020170022963A priority Critical patent/KR101956312B1/en
Publication of KR20180096355A publication Critical patent/KR20180096355A/en
Application granted granted Critical
Publication of KR101956312B1 publication Critical patent/KR101956312B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/246—Calibration of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

본 발명은 깊이 맵 보정방법에 관한 것으로서, 현재 프레임과 현재 프레임 이전 소정의 이웃 프레임들 간의 기하변환함수를 산출하는 단계, 산출된 기하변환함수를 이용하여 이웃 프레임들을 현재 프레임에 투영하는 단계, 및 현재 프레임의 픽셀 및 현재 프레임의 픽셀에 대응하는 이웃 프레임들의 픽셀에서의 깊이 값의 평균을 현재 프레임의 픽셀에서의 깊이 값으로 산출하여 현재 프레임의 깊이 맵을 보정하는 단계를 포함함으로써 여러 장의 깊이 맵에 대한 3차원 관계를 계산하고 이를 깊이 맵의 보정에 사용함으로써 3차원 모델을 유지하는 것과 유사한 효과를 만들 수 있고, 기준 프레임의 설정을 통해 오차의 누적 속도를 크게 감소시켜서 모든 카메라 궤적 추정 방법에서 큰 문제로 인식되는 오차의 누적을 줄일 수 있다.The present invention relates to a depth map correction method, comprising: calculating a geometric transformation function between a current frame and predetermined neighboring frames before a current frame; projecting neighboring frames onto a current frame using the calculated geometric transformation function; Correcting the depth map of the current frame by calculating an average of the depth values in the pixels of the current frame and the pixels of the neighboring frames corresponding to the pixels of the current frame as depth values in the pixels of the current frame, Dimensional model, and using it to correct the depth map, an effect similar to that of maintaining a three-dimensional model can be made, and the cumulative error rate can be greatly reduced through the setting of the reference frame, It is possible to reduce accumulation of error recognized as a big problem.

Description

RGB-D 카메라 포즈 추정의 정확도 향상을 위한 깊이 맵 필터링 및 다중-레벨 예측자-수정자 방법{Depth Map Filtering and Two-level Predictor-Corrector Method for Precision Enhancement of RGB-D Camera Pose Estimation}[0002] Depth map filtering and multi-level predictor-modifier methods for improving the accuracy of RGB-D camera pose estimation,

본 발명은 깊이 맵 보정 방법에 관한 것으로서, 더욱 상세하게는 깊이 맵 필터링 및 다중-레벨 예측자-수정자 방법을 이용한 깊이 맵 보정방법, 카메라궤적 추정방법, 및 그 장치에 관한 것이다.The present invention relates to a depth map correction method, and more particularly, to a depth map correction method, a camera trajectory estimation method, and an apparatus therefor, using depth map filtering and a multi-level predictor-modifier method.

시각적 거리 측정 기법(visual odometry)에서 카메라의 위치를 추정하는데 발생하는 오차는 본 분야에서 지속 되어온 문제이다. 특히 저가형 RGB-D 카메라의 경우 많은 노이즈를 포함하고 있기 때문에 더 많은 오차의 누적 문제가 발생한다. 이를 해결하기 위해 촬영 된 정보들을 3차원 지도나 모델의 형태로 유지하거나 한 번 촬영한 영역을 다시 촬영하는지 검사하고 이를 바탕으로 이전에 측정한 카메라 궤적을 보정하는 기법(loop closing)을 사용하는 것이 일반적이었다. 그러나 이와 같은 방법들은 많은 메모리나 연산량을 필요로 한다는 단점을 가지고 있다.The error that occurs in estimating the camera position in visual odometry is a continuing problem in this field. In particular, low-cost RGB-D cameras contain a lot of noise, which causes more cumulative error. In order to solve this problem, it is necessary to keep the photographed information in the form of a three-dimensional map or a model or to check whether a once photographed area is photographed again, and to use a loop closing method It was common. However, these methods have a disadvantage in that they require a lot of memory and computation amount.

RGB-D 카메라의 촬영 정보를 이용해서 카메라의 궤적을 추정하는 과정은 촬영된 RGB이미지와 깊이 이미지의 모든 픽셀을 사용한다. 이웃한 두 프레임 간의 차이를 계산하고 이를 최소화 하는 방향으로 카메라의 궤적을 추정하는 ICP 기법을 사용하는데 이 과정에서 입력 되는 정보의 정확도가 낮다면 카메라의 궤적을 추정하는데 오차가 발생하게 된다. The process of estimating the trajectory of the camera using the photographing information of the RGB-D camera uses all pixels of the captured RGB image and the depth image. We use the ICP technique to estimate the camera trajectory in the direction of calculating the difference between the two neighboring frames and minimizing it. If the accuracy of the input information is low in this process, the camera trajectory estimation error will occur.

오차를 줄이는 방법은 깊이 맵의 필터링을 통해 노이즈를 줄이고 추정 간에 발생하는 오차를 줄이는 방법과 누적된 오차를 보정하는 방식으로 나뉜다. 깊이 맵의 노이즈는 3차원 공간의 한 점을 서로 다른 프레임에서 관찰 했을 때 다른 값으로 측정 되는 것을 의미한다. 기존의 방법은 한 장의 이미지에 대해 일정 크기의 커널을 생성하여 필터링을 수행하고자 하는 픽셀의 주변 정보를 활용하는 방식을 사용했다. 그러나 이 방식의 경우 보정의 정도를 강하게 하면 디테일이 사라지고 보정의 정도를 약하게 하면 의미 있는 보정이 이루어지지 않는다는 단점이 있었다. 누적된 오차를 줄이는 방식은 3차원 공간에 대한 지도를 유지하며 촬영 된 지점을 다시 촬영할 경우 지금까지 누적 된 오차들을 계산하고 각 프레임마다 보정 된 값을 적용하는 방식으로 이루어진다. 그러나 이러한 방식의 경우 상당히 복잡한 알고리즘과 많은 메모리 및 연산을 필요로 한다는 단점을 가지고 있다. 또한 카메라의 궤적을 실시간으로 사용하는 경우 보정을 통해 원래의 궤적을 복원한다는 작업은 큰 의미를 가지지 못한다.The method of reducing the error is divided into a method of reducing the noise by filtering the depth map, a method of reducing the error occurring between the estimations and a method of correcting the accumulated error. Noise in the depth map means that a point in three-dimensional space is measured at different values when observed in different frames. In the conventional method, a kernel of a certain size is generated for a single image, and the peripheral information of a pixel to be filtered is utilized. However, in this method, when the degree of correction is strong, the detail disappears, and when the degree of correction is weak, meaningful correction is not performed. The method of reducing the accumulated error is to maintain the map of the three-dimensional space and to calculate the cumulative errors so far when the photographed point is photographed again, and to apply the corrected value to each frame. However, this method has a disadvantage that it requires a complicated algorithm and a lot of memory and operations. In addition, when the camera trajectory is used in real time, the task of restoring the original trajectory through correction is not significant.

RGBD 카메라를 이용한 머리 포즈 추정(한국공개특허 10-2016-0028510)Estimation of head pose using RGBD camera (Korean Patent Laid-open No. 10-2016-0028510)

본 발명이 해결하고자 하는 첫 번째 과제는 깊이 맵 필터링을 이용하여 깊이 맵을 보정하는 방법을 제공하는 것이다.A first problem to be solved by the present invention is to provide a method of correcting a depth map using depth map filtering.

본 발명이 해결하고자 하는 두 번째 과제는 깊이 맵 필터링 및 다중-레벨 예측자-수정자 방법을 이용하여 카메라궤적을 추정하는 방법을 제공하는 것이다.A second object of the present invention is to provide a method of estimating a camera trajectory using a depth map filtering and a multi-level predictor-modifier method.

본 발명이 해결하고자 하는 세 번째 과제는 깊이 맵 필터링 및 다중-레벨 예측자-수정자 방법을 이용하여 카메라궤적을 추정하는 장치를 제공하는 것이다.A third problem to be solved by the present invention is to provide an apparatus for estimating a camera trajectory using depth map filtering and a multi-level predictor-modifier method.

본 발명은 상기 첫 번째 과제를 달성하기 위하여, 현재 프레임과 현재 프레임 이전 소정의 이웃 프레임들 간의 기하변환함수를 산출하는 단계; 상기 산출된 기하변환함수를 이용하여 상기 이웃 프레임들을 현재 프레임에 투영하는 단계; 및 현재 프레임의 픽셀 및 현재 프레임의 픽셀에 대응하는 이웃 프레임들의 픽셀에서의 깊이 값의 평균을 현재 프레임의 픽셀에서의 깊이 값으로 산출하여 현재 프레임의 깊이 맵을 보정하는 단계를 포함하는 깊이 맵 보정방법을 제공한다.In order to achieve the first object of the present invention, there is provided a method of calculating a geometric transformation function between a current frame and predetermined neighboring frames before a current frame, Projecting the neighboring frames to a current frame using the calculated geometric transformation function; And correcting a depth map of a current frame by calculating an average of depth values in pixels of neighboring frames corresponding to pixels of the current frame and a pixel of the current frame as a depth value of pixels of the current frame, ≪ / RTI >

본 발명의 실시예에 의하면, 현재 프레임에 나타나는 물체의 모서리를 감지하여 상기 모서리에 해당하는 픽셀을 제거하는 단계를 더 포함하는 깊이 맵 보정방법일 수 있다.According to an embodiment of the present invention, it is possible to detect a corner of an object appearing in a current frame and to remove a pixel corresponding to the edge.

본 발명의 실시예에 의하면, 현재 프레임의 입력과 동시에 이전 이웃 프레임들 간의 기하변환함수를 산출하여 깊이 맵 보정 과정을 수행하는 것을 특징으로 하는 깊이 맵 보정방법일 수 있다.According to an embodiment of the present invention, a depth map correction process is performed by calculating a geometric transformation function between previous neighboring frames simultaneously with input of a current frame.

본 발명의 실시예에 의하면, 상기 기하변환함수는, 상기 이웃 프레임과 모든 픽셀들을 비교하여 프레임 간의 에너지를 산출하고, 기하변환에 대한 비용 함수를 설정하여 에너지를 최소화하는 방향으로 산출되는 것을 특징으로 하는 깊이 맵 보정방법일 수 있다.According to an embodiment of the present invention, the geometric transformation function is calculated in such a manner as to calculate energy between frames by comparing all the pixels with the neighboring frame, and to set a cost function for the geometric transformation to minimize energy. A depth map correction method may be used.

본 발명의 실시예에 의하면, 상기 기하변환함수는 ICP(Iterative Closest Point) 기법을 이용하여 산출되는 것을 특징으로 하는 깊이 맵 보정방법일 수 있다.According to an embodiment of the present invention, the geometric transformation function may be calculated using an ICP (Iterative Closest Point) technique.

본 발명의 실시예에 의하면, 상기 기하변환함수는, 기존에 이웃 프레임들간에 산출되어 저장된 기하변환함수들을 이용하여 현재 프레임에 대한 기하변환함수를 산출하는 것을 특징으로 하는 깊이 맵 보정방법일 수 있다.According to an embodiment of the present invention, the geometric transformation function may be a depth map correction method that calculates a geometric transformation function for a current frame using previously stored geometric transformation functions between neighboring frames .

본 발명은 상기 두 번째 과제를 달성하기 위하여, 현재 프레임과 현재 프레임 이전 소정의 이웃 프레임들 간의 기하변환함수를 산출하는 단계; 상기 산출된 기하변환함수를 이용하여 상기 이웃 프레임들을 현재 프레임에 투영하는 단계; 현재 프레임의 픽셀 및 현재 프레임의 픽셀에 대응하는 이웃 프레임들의 픽셀에서의 깊이 값의 평균을 현재 프레임의 픽셀에서의 깊이 값으로 산출하여 현재 프레임의 깊이 맵을 보정하는 단계; 및상기 보정된 깊이 맵을 이용하여 카메라 궤적을 추정하는 단계를 포함하는 카메라궤적 추정방법을 제공한다.According to another aspect of the present invention, there is provided a method of calculating a geometric transformation function between a current frame and predetermined neighboring frames before a current frame, Projecting the neighboring frames to a current frame using the calculated geometric transformation function; Correcting a depth map of a current frame by calculating an average of depth values of pixels of a current frame and pixels of neighboring frames corresponding to pixels of the current frame as depth values of pixels of a current frame; And estimating a camera trajectory using the corrected depth map.

본 발명의 실시예에 의하면, 초기 프레임을 제 1 레벨에서의 기준 프레임으로 설정하는 단계; 현재 프레임과 현재 프레임 이전에 입력된 프레임 간의 기하변환함수로부터 제 1 레벨에서의 추정오차를 산출하여 누적하는 단계; 및 상기 누적된 제 1 레벨에서의 추정오차가 임계치 이상일 경우, 현재 프레임과 상기 제 1 레벨에서의 기준 프레임간의 기하변환함수에 따른 추정오차를 산출하여 현재프레임에서의 카메라 궤적을 보정하고, 현재 프레임을 상기 제 1 레벨에서의 기준 프레임으로 설정하는 단계를 포함하는 카메라궤적 추정방법일 수 있다.According to an embodiment of the present invention, there is provided a method comprising: setting an initial frame to a reference frame at a first level; Calculating and accumulating an estimation error at a first level from a geometric transformation function between a current frame and a frame input before the current frame; And calculating an estimation error according to the geometric transformation function between the current frame and the reference frame at the first level to correct the camera locus in the current frame when the estimated error at the accumulated first level is equal to or greater than the threshold, And setting the reference frame as a reference frame at the first level.

본 발명의 실시예에 의하면, 상기 초기 프레임을 제 2 레벨에서의 기준 프레임으로 설정하는 단계; 현재 프레임이 제 1 레벨에서의 기준 프레임으로 설정되면, 상기 제 1 레벨에서의 기준 프레임과 상기 제 2 레벨에서의 기준 프레임 간의 기하변환함수로부터 제 2 레벨에서의 추정오차를 산출하여 누적하는 단계; 상기 누적된 제 2 레벨에서의 추정오차가 임계치 이상일 경우, 최근 설정된 제 1 레벨에서의 기준 프레임과 상기 제 2 레벨에서의 기준 프레임간의 기하변환함수에 따른 추정오차를 산출하여 상기 최근 설정된 제 1 레벨에서의 기준 프레임에서의 카메라 궤적을 보정하고, 상기 최근 설정된 제 1 레벨에서의 기준 프레임을 상기 제 2 레벨에서의 기준 프레임으로 설정하는 단계를 더 포함하는 카메라궤적 추정방법일 수 있다.According to an embodiment of the present invention, there is provided a method comprising: setting the initial frame as a reference frame at a second level; Calculating and accumulating an estimation error at a second level from a geometric transformation function between the reference frame at the first level and the reference frame at the second level when the current frame is set as the reference frame at the first level; Calculating an estimation error according to a geometric transformation function between a reference frame at a first level and a reference frame at a second level, which have been set recently, if the estimation error at the accumulated second level is equal to or greater than a threshold, Correcting the camera trajectory in the reference frame at the second level and setting the reference frame at the first set level as the reference frame at the second level.

본 발명의 실시예에 의하면, 상기 추정오차를 보정하는 레벨의 단계는 프레임의 수에 따라 달라지거나 사용자에 의해 설정되는 것을 특징으로 하는 카메라궤적 추정방법일 수 있다.According to an embodiment of the present invention, the level of the level for correcting the estimation error may be determined according to the number of frames or may be set by a user.

본 발명은 상기 세 번째 과제를 달성하기 위하여, 카메라 또는 외부로부터 이미지 프레임을 입력받는 통신부; 및 입력받은 현재 프레임과 현재 프레임 이전 소정의 이웃 프레임들 간의 기하변환함수를 산출하고, 상기 산출된 기하변환함수를 이용하여 상기 이웃 프레임들을 현재 프레임에 투영하며, 현재 프레임의 픽셀 및 현재 프레임의 픽셀에 대응하는 이웃 프레임들의 픽셀에서의 깊이 값의 평균을 현재 프레임의 픽셀에서의 깊이 값으로 산출하여 현재 프레임의 깊이 맵을 보정하고, 상기 보정된 깊이 맵을 이용하여 카메라 궤적을 추정하는 처리부를 포함하는 카메라궤적 추정장치를 제공한다.In order to achieve the third object of the present invention, there is provided an image processing apparatus comprising: a communication unit for receiving an image frame from a camera or from outside; And calculating a geometric transformation function between the input current frame and predetermined neighboring frames before the current frame, projecting the neighboring frames to the current frame using the calculated geometric transformation function, A depth map of a current frame, a depth map of a current frame, and estimates a camera locus using the corrected depth map. The camera trajectory estimating apparatus comprising:

본 발명의 실시예에 의하면, 상기 처리부는, 초기 프레임을 제 1 레벨에서의 기준 프레임으로 설정하고, 현재 프레임과 현재 프레임 이전에 입력된 프레임 간의 기하변환함수로부터 제 1 레벨에서의 추정오차를 산출하여 누적하며, 상기 누적된 제 1 레벨에서의 추정오차가 임계치 이상일 경우, 현재 프레임과 상기 제 1 레벨에서의 기준 프레임간의 기하변환함수에 따른 추정오차를 산출하여 현재프레임에서의 카메라 궤적을 보정하고, 현재 프레임을 상기 제 1 레벨에서의 기준 프레임으로 설정하는 것을 특징으로 하는 카메라궤적 추정장치일 수 있다.According to the embodiment of the present invention, the processing unit sets the initial frame as the reference frame at the first level, and calculates the estimation error at the first level from the geometric transformation function between the current frame and the frame input before the current frame When the estimated error in the accumulated first level is equal to or more than the threshold value, an estimation error according to the geometric transformation function between the current frame and the reference frame in the first level is calculated to correct the camera locus in the current frame , And sets the current frame as the reference frame at the first level.

본 발명은 상기 과제를 달성하기 위하여, 상기 처리부는, 상기 초기 프레임을 제 2 레벨에서의 기준 프레임으로 설정하고, 현재 프레임이 제 1 레벨에서의 기준 프레임으로 설정되면, 상기 제 1 레벨에서의 기준 프레임과 상기 제 2 레벨에서의 기준 프레임 간의 기하변환함수로부터 제 2 레벨에서의 추정오차를 산출하여 누적하며, 상기 누적된 제 2 레벨에서의 추정오차가 임계치 이상일 경우, 최근 설정된 제 1 레벨에서의 기준 프레임과 상기 제 2 레벨에서의 기준 프레임간의 기하변환함수에 따른 추정오차를 산출하여 상기 최근 설정된 제 1 레벨에서의 기준 프레임에서의 카메라 궤적을 보정하고, 상기 최근 설정된 제 1 레벨에서의 기준 프레임을 상기 제 2 레벨에서의 기준 프레임으로 설정하는 것을 특징으로 하는 카메라궤적 추정장치를 제공한다.In order to achieve the above object, in the present invention, the processing unit sets the initial frame as a reference frame at a second level, and when the current frame is set as a reference frame at the first level, And a second error correction unit that calculates an error in the second level from the geometric transformation function between the frame and the reference frame at the second level and accumulates the error, Calculating an estimation error according to a geometric transformation function between the reference frame and the reference frame at the second level to correct the camera locus in the reference frame at the recently set first level, Is set as a reference frame at the second level.

본 발명에 따르면, 비교적 간단한 알고리즘과 적은 메모리 사용으로도 노이즈가 많은 저가형 RGB-D 카메라를 이용해 카메라의 위치를 추정하는 과정에서 높은 정확도를 오랜 시간 동안 유지할 수 있다. 또한, 본 발명은 간단한 알고리즘을 사용하기 때문에 많은 연산량을 필요로 하지 않고 보존해야 하는 정보의 양이 적어서 비교적 적은 메모리를 사용한다. 이는 모바일 환경으로 발전하는데 큰 이점이 된다. 나아가, 깊이 맵의 보정을 통해 포인트 클라우드의 품질을 높일 수 있기 때문에 3차원 물체 복원에도 강점을 보이며, 본 발명에서 제시하는 기법을 통해 깊이 맵을 보정하는 경우 디테일을 보존한 포인트 클라우드를 만들어 낼 수 있다.According to the present invention, it is possible to maintain a high accuracy for a long time in a process of estimating the position of a camera using a relatively low-cost RGB-D camera having a relatively simple algorithm and a small amount of memory and a lot of noise. In addition, since the present invention uses a simple algorithm, a relatively small amount of memory is used because the amount of information to be saved is small without requiring a large amount of computation. This is a great advantage for developing into a mobile environment. Furthermore, since the quality of the point cloud can be improved through the correction of the depth map, the 3D cloud is shown to be advantageous in restoring the three-dimensional object. In the case of correcting the depth map by the technique of the present invention, have.

도 1은 본 발명의 일 실시예에 따른 카메라궤적 추정장치의 블록도이다.
도 2는 본 발명의 일 실시예에 따른 깊이 맵 보정방법의 흐름도이다.
도 3은 본 발명의 실시예에 따른 깊이 맵 보정방법의 흐름도이다.
도 4 내지 도 8은 카메라궤적 추정과정을 설명하기 위한 도면이다.
도 9는 본 발명의 일 실시예에 따른 카메라궤적 추정방법의 흐름도이다.
도 10 내지 도 11은 본 발명의 실시예에 따른 카메라궤적 추정방법의 흐름도이다.
도 12 내지 도 16은 카메라궤적 추정과정을 설명하기 위한 도면이다.1 is a block diagram of a camera locus estimation apparatus according to an embodiment of the present invention.
2 is a flowchart of a depth map correction method according to an embodiment of the present invention.
3 is a flowchart of a depth map correction method according to an embodiment of the present invention.
FIGS. 4 to 8 are views for explaining a camera locus estimation process.
9 is a flowchart of a camera trajectory estimation method according to an embodiment of the present invention.
10 to 11 are flowcharts of a camera trajectory estimation method according to an embodiment of the present invention.
12 to 16 are diagrams for explaining the camera locus estimation process.

본 발명에 관한 구체적인 내용의 설명에 앞서 이해의 편의를 위해 본 발명이 해결하고자 하는 과제의 해결 방안의 개요 혹은 기술적 사상의 핵심을 우선 제시한다.Prior to the description of the concrete contents of the present invention, for the sake of understanding, the outline of the solution of the problem to be solved by the present invention or the core of the technical idea is first given.

본 발명의 일 실시예에 따른 깊이 맵 보정방법은 현재 프레임과 현재 프레임 이전 소정의 이웃 프레임들 간의 기하변환함수를 산출하는 단계, 상기 산출된 기하변환함수를 이용하여 상기 이웃 프레임들을 현재 프레임에 투영하는 단계, 및 현재 프레임의 픽셀 및 현재 프레임의 픽셀에 대응하는 이웃 프레임들의 픽셀에서의 깊이 값의 평균을 현재 프레임의 픽셀에서의 깊이 값으로 산출하여 현재 프레임의 깊이 맵을 보정하는 단계를 포함한다.According to an embodiment of the present invention, there is provided a depth map correction method, comprising: calculating a geometric transformation function between a current frame and predetermined neighboring frames before a current frame; projecting the neighboring frames to a current frame using the calculated geometric transformation function; And correcting the depth map of the current frame by calculating an average of the depth values in the pixels of the current frame and the pixels of the neighboring frames corresponding to the pixels of the current frame as depth values in the pixels of the current frame .

이하 첨부된 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있는 실시 예를 상세히 설명한다. 그러나 이들 실시예는 본 발명을 보다 구체적으로 설명하기 위한 것으로, 본 발명의 범위가 이에 의하여 제한되지 않는다는 것은 당업계의 통상의 지식을 가진 자에게 자명할 것이다.DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings. It will be apparent to those skilled in the art, however, that these examples are provided to further illustrate the present invention, and the scope of the present invention is not limited thereto.

본 발명이 해결하고자 하는 과제의 해결 방안을 명확하게 하기 위한 발명의 구성을 본 발명의 바람직한 실시예에 근거하여 첨부 도면을 참조하여 상세히 설명하되, 도면의 구성요소들에 참조번호를 부여함에 있어서 동일 구성요소에 대해서는 비록 다른 도면상에 있더라도 동일 참조번호를 부여하였으며 당해 도면에 대한 설명시 필요한 경우 다른 도면의 구성요소를 인용할 수 있음을 미리 밝혀둔다. 아울러 본 발명의 바람직한 실시 예에 대한 동작 원리를 상세하게 설명함에 있어 본 발명과 관련된 공지 기능 혹은 구성에 대한 구체적인 설명 그리고 그 이외의 제반 사항이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우, 그 상세한 설명을 생략한다.BRIEF DESCRIPTION OF THE DRAWINGS The above and other objects, features and advantages of the present invention will become more apparent from the following detailed description of the present invention when taken in conjunction with the accompanying drawings, in which: It is to be noted that components are denoted by the same reference numerals even though they are shown in different drawings, and components of different drawings can be cited when necessary in describing the drawings. In the following detailed description of the principles of operation of the preferred embodiments of the present invention, it is to be understood that the present invention is not limited to the details of the known functions and configurations, and other matters may be unnecessarily obscured, A detailed description thereof will be omitted.

도 1은 본 발명의 일 실시예에 따른 카메라궤적 추정장치의 블록도이다.1 is a block diagram of a camera locus estimation apparatus according to an embodiment of the present invention.

본 발명의 일 실시예에 따른 카메라궤적 추정장치(110)는 통신부(111) 및 처리부(112)로 구성되며, 처리부(112)에서 산출한 기하변환함수를 저장하는 저장부를 더 포함할 수 있다. 또한, 카메라(120) 또는 이미지센서를 포함하거나, 처리부(112)의 처리결과를 디스플레이하는 디스플레이부를 더 포함할 수 있다.The camera trajectory estimating apparatus 110 according to an exemplary embodiment of the present invention may further include a storage unit configured to store a geometric transformation function calculated by the processing unit 112. The camera trajectory estimation apparatus 110 includes a communication unit 111 and a processing unit 112. [ In addition, the image processing apparatus 100 may further include a display unit including the camera 120 or the image sensor, or displaying the processing result of the processing unit 112. [

통신부(111)는 카메라(120) 또는 외부로부터 이미지 프레임을 입력받는다. 상기 카메라(120)는 RGB-D 카메라일 수 있다.The communication unit 111 receives image frames from the camera 120 or from outside. The camera 120 may be an RGB-D camera.

처리부(112)는 통신부(111)에서 입력받은 현재 프레임과 현재 프레임 이전 소정의 이웃 프레임들 간의 기하변환함수를 산출하고, 상기 산출된 기하변환함수를 이용하여 상기 이웃 프레임들을 현재 프레임에 투영하며, 현재 프레임의 픽셀 및 현재 프레임의 픽셀에 대응하는 이웃 프레임들의 픽셀에서의 깊이 값의 평균을 현재 프레임의 픽셀에서의 깊이 값으로 산출하여 현재 프레임의 깊이 맵을 보정하고, 상기 보정된 깊이 맵을 이용하여 카메라 궤적을 추정한다.The processing unit 112 calculates a geometric transformation function between the current frame input from the communication unit 111 and predetermined neighboring frames before the current frame, projects the neighboring frames to the current frame using the calculated geometric transformation function, An average of depth values in pixels of a current frame and pixels of neighboring frames corresponding to pixels of a current frame is calculated as a depth value in a pixel of a current frame to correct a depth map of the current frame, Thereby estimating the camera locus.

처리부(112)는 카메라궤적 추정에 있어서, 다중 레벨에서의 예측자-수정자 방법을 수행할 수 있다.The processing unit 112 may perform the predictor-modifier method at multiple levels in the camera locus estimation.

먼저 제 1 레벨에서 초기 프레임을 제 1 레벨에서의 기준 프레임으로 설정하고, 현재 프레임과 현재 프레임 이전에 입력된 프레임 간의 기하변환함수로부터 제 1 레벨에서의 추정오차를 산출하여 누적하며, 상기 누적된 제 1 레벨에서의 추정오차가 임계치 이상일 경우, 현재 프레임과 상기 제 1 레벨에서의 기준 프레임간의 기하변환함수에 따른 추정오차를 산출하여 현재프레임에서의 카메라 궤적을 보정하고, 현재 프레임을 상기 제 1 레벨에서의 기준 프레임으로 설정한다. 이후 제 2 레벨에서 상기 초기 프레임을 제 2 레벨에서의 기준 프레임으로 설정하고, 현재 프레임이 제 1 레벨에서의 기준 프레임으로 설정되면, 상기 제 1 레벨에서의 기준 프레임과 상기 제 2 레벨에서의 기준 프레임 간의 기하변환함수로부터 제 2 레벨에서의 추정오차를 산출하여 누적하며, 상기 누적된 제 2 레벨에서의 추정오차가 임계치 이상일 경우, 최근 설정된 제 1 레벨에서의 기준 프레임과 상기 제 2 레벨에서의 기준 프레임간의 기하변환함수에 따른 추정오차를 산출하여 상기 최근 설정된 제 1 레벨에서의 기준 프레임에서의 카메라 궤적을 보정하고, 상기 최근 설정된 제 1 레벨에서의 기준 프레임을 상기 제 2 레벨에서의 기준 프레임으로 설정한다.First, an initial frame is set as a reference frame at a first level at a first level, and an estimation error at a first level is calculated and accumulated from a geometric transformation function between a current frame and a frame inputted before the current frame, Calculating an estimation error according to the geometric transformation function between the current frame and the reference frame at the first level to correct the camera locus in the current frame when the estimation error at the first level is equal to or greater than the threshold, Level reference frame. If the current frame is set as the reference frame at the first level, the reference frame at the first level and the reference at the second level are set as the reference frame at the second level, Wherein the estimation error at the second level is calculated and accumulated from the geometric transformation function between frames, and when the estimation error at the accumulated second level is equal to or larger than the threshold value, Calculating an estimation error according to a geometric transformation function between the reference frames to correct the camera locus in the reference frame at the first set level and setting the reference frame at the recently set first level at the reference frame at the second level, .

처리부(112)에서 수행되는 깊이 맵 보정과정 및 카메라궤적 추정과정은 이하 도 2 내지 도 3의 깊이 맵 보정 방법 및 도 4 내지 도 16의 카메라궤적 추정방법을 이용하여 상세히 설명하도록 한다.The depth map correction process and camera locus estimation process performed by the processing unit 112 will be described in detail below using the depth map correction method of FIGS. 2 to 3 and the camera locus estimation method of FIGS. 4 to 16. FIG.

도 2는 본 발명의 일 실시예에 따른 깊이 맵 보정방법의 흐름도이고, 도 3은 본 발명의 실시예에 따른 깊이 맵 보정방법의 흐름도이다.FIG. 2 is a flowchart of a depth map correction method according to an embodiment of the present invention, and FIG. 3 is a flowchart of a depth map correction method according to an embodiment of the present invention.

깊이 맵 보정을 위해 우선 210 단계에서 현재 프레임과 현재 프레임 이전 소정의 이웃 프레임들 간의 기하변환함수를 산출한다.In order to correct the depth map, in step 210, a geometric transformation function between the current frame and predetermined neighboring frames before the current frame is calculated.

저가형 RGB-D 카메라의 깊이 값은 실제 값을 기준으로 상하의 오차를 가지며 진동하기 때문에, 깊이 맵의 보정이 필요하다. 현재 프레임의 깊이 맵을 보정하기 위하여, 이전 이웃 플레임들과의 기하변환관계를 이용한다. 현재 프레임과 이전에 입력되었던 이웃 프레임들 간의 기하변환함수를 산출한다. 기하변환함수를 산출하는 이웃 프레임의 수는 이전에 입력되었던 모든 프레임이거나, 프레임의 수에 따라 달라지거나, 사용자에 의해서 설정될 수 있다. 상기 기하변환함수는 상기 이웃 프레임과 모든 픽셀들을 비교하여 프레임 간의 에너지를 산출하고, 기하변환에 대한 비용 함수를 설정하여 에너지를 최소화하는 방향으로 산출된다. 상기 기하변환함수는 ICP(Iterative Closest Point) 기법을 이용하여 산출될 수 있다. 또한, 상기 기하변환함수는 기존에 이웃 프레임들간에 산출되어 저장된 기하변환함수들을 이용하여 현재 프레임에 대한 기하변환함수를 산출할 수 있다. 현재 프레임의 입력과 동시에 이전 이웃 프레임들 간의 기하변환함수를 산출하여 깊이 맵 보정 과정을 수행할 수 있다. 현재 프레임을 기준으로 이전 프레임에 대해 수행되기 때문에 새로운 프레임이 입력됨과 동시에 보정작업을 수행하여 빠르게 깊이 맵을 보정할 수 있다.Since the depth value of a low-cost RGB-D camera oscillates with a vertical error based on the actual value, it is necessary to correct the depth map. To correct the depth map of the current frame, we use the geometric transformation relationship with the previous neighboring frames. And calculates a geometric transformation function between the current frame and the previously input neighboring frames. The number of neighboring frames that yield the geometric transformation function may be all frames previously entered, or may vary depending on the number of frames, or may be set by the user. The geometric transformation function calculates the energy between frames by comparing all pixels with the neighboring frame, and sets the cost function for the geometric transformation to minimize energy. The geometric transformation function may be calculated using an ICP (Iterative Closest Point) technique. Also, the geometric transformation function may calculate a geometric transformation function for the current frame using the geometric transformation functions calculated and stored between neighboring frames. The depth map correction process can be performed by calculating the geometric transformation function between the previous neighboring frames simultaneously with the input of the current frame. Since the correction is performed on the previous frame based on the current frame, a correcting operation can be performed simultaneously with the input of a new frame, so that the depth map can be corrected quickly.

210 단계에서 현재 프레임과 이웃 프레임들간의 기하변환함수가 산출되면, 220 단계에서 상기 산출된 기하변환함수를 이용하여 상기 이웃 프레임들을 현재 프레임에 투영한다. 상기 투영을 통해 한 프레임의 픽셀 좌표가 다른 프레임의 어떤 픽셀 좌표에 매칭되는지를 산출할 수 있다. 이를 이용하여 230 단계에서 현재 프레임의 픽셀 및 현재 프레임의 픽셀에 대응하는 이웃 프레임들의 픽셀에서의 깊이 값의 평균을 현재 프레임의 픽셀에서의 깊이 값으로 산출하여 현재 프레임의 깊이 맵을 보정한다.If the geometric transformation function between the current frame and the neighboring frames is calculated in step 210, the neighboring frames are projected on the current frame using the calculated geometric transformation function in step 220. Through the projection, it can be calculated which pixel coordinate of one frame matches with which pixel coordinate of another frame. The depth map of the current frame is corrected by calculating the average of the depth values in the pixels of the current frame and the pixels of the neighboring frames corresponding to the pixels of the current frame as depth values in the pixels of the current frame.

깊이 맵 보정 과정은 도 4와 같이 그림으로 나타낼 수 있다.The depth map correction process can be illustrated as shown in FIG.

Fn : 보정의 기준이 되는 프레임 (현재 프레임)F n : Frame to be a reference of correction (current frame)

Fn -i(1≤i≤N-1) : 보정에 활용되는 이웃 프레임F n -i (1? I? N-1): Neighbor frame used for correction

Tn - i,n(1≤i≤N-1) : 현재 프레임과 이웃 프레임의 기하 변환 관계(함수)T n - i, n (1≤i≤N-1): The geometric transformation relation (function) between the current frame and the neighboring frame.

이웃 프레임들을 이용해서 깊이 맵을 보정하기 위해서는 각 프레임을 촬영한 카메라 간의 기하변환함수를 계산할 수 있어야 한다. 이웃한 두 프레임의 기하변환함수를 산출하기 위해서 direct method의 icp(iterative closest point)기법을 사용할 수 있다. 이를 위해 이웃 프레임의 모든 픽셀들을 비교하여 프레임 간의 에너지를 계산하고 기하 변환 관계에 대한 비용 함수를 설정하여 에너지를 최소화하는 방향으로 기하변환함수를 산출한다. 이렇게 산출된 카메라의 기하변환함수를 이용하면 프레임간 투영을 통해 한 프레임의 픽셀 좌표가 다른 프레임의 어떤 픽셀 좌표에 매칭되는지 계산할 수 있다. N개의 이웃 프레임들에 대해 이 과정을 수행하며, 촬영되는 현재 프레임을 기준으로 이전 N개 프레임들 간의 관계를 산출한다. 각 관계가 산출되었다면 이를 이용해서 각각 프레임들의 정보를 현재 프레임 상에 투영할 수 있다. 투영된 정보들은 3차원 공간에서의 같은 점들을 의미하며 저가형 RGB-D 카메라는 정확한 깊이 값을 기준으로 상하 진동을 하기 때문에 여러 프레임의 점들에 대한 평균을 계산함으로써 실제 값과 유사한 값을 얻을 수 있다. 깊이 맵 보정은 현재 프레임을 기준으로 이전 프레임들에 대해 수행이 되기 때문에 새로운 프레임이 입력됨과 동시에 보정 작업을 수행할 수 있다. In order to correct the depth map using neighboring frames, it is necessary to be able to calculate the geometric transformation function between the cameras that captured each frame. The iterative closest point (icp) method of the direct method can be used to calculate the geometric transformation function of two neighboring frames. To do this, we compute the energy between frames by comparing all the pixels of the neighboring frame, and set the cost function for the geometric transformation relation to calculate the geometric transformation function in the direction of minimizing the energy. By using the calculated geometric transformation function of the camera, it is possible to calculate which pixel coordinate of one frame matches the pixel coordinate of another frame through interframe projection. This process is performed for the N neighboring frames, and the relation between the previous N frames is calculated based on the current frame being photographed. If each relation is calculated, information of each frame can be projected on the current frame using this. The projected information means the same points in 3-D space. Since low-priced RGB-D camera has up and down vibration based on the accurate depth value, it can obtain a value similar to the actual value by calculating the average of the points of several frames . Since the depth map correction is performed on the previous frames based on the current frame, the correction operation can be performed simultaneously with the input of the new frame.

210 단계 내지 230 단계에서의 깊이 맵 보정에 앞서 정확성을 높이기 위하여, 310 단계에서 현재 프레임에 나타나는 물체의 모서리를 감지하여 상기 모서리에 해당하는 픽셀을 제거할 수 있다.In order to improve the accuracy of the depth map correction in steps 210-230, a pixel corresponding to the edge may be removed by sensing an edge of an object appearing in the current frame in step 310. [

이웃한 프레임들을 현재 프레임을 기준으로 변형한 뒤 이에 대한 평균을 구하는 과정에서 물체의 모서리 부분에 문제가 발생할 수 있다. 저가형 RGB-D 카메라의 특성상 낮은 정확도로 인하여 물체의 모서리 부분을 촬영할 땐 물체 부분의 깊이가 촬영이 되기도 하고 물체 뒤의 배경이 촬영되기도 하기 때문이다. 이로 인하여 깊이 값의 평균을 계산하는 과정에서 모서리 부분이 길게 늘어나는 현상이 발생한다. 이 현상을 제거하기 위해 물체의 모서리를 탐지하고 해당 부분의 픽셀을 제거한다. 모서리를 감지하는 과정은 도 5와 같다. 3차원 상의 한 정점을 바라보는 시선 벡터

Figure 112017017924083-pat00001
와 해당 정점이 주변 정점들과 함께 만드는 평면의 법선 벡터인
Figure 112017017924083-pat00002
이 수직에 가깝다면 해당 정점은 모서리에 있다고 판단하여 관련 픽셀을 제거한다. 이를 이용하여 보정 간에 발생하는 문제를 해결할 수 있다. 도 6은 깊이 맵 보정 기법으로 인해 발생하는 문제(a)와 모서리 검출을 통해 이를 해결한 결과(b)를 보여준다. 깊이 맵에 대한 보정 결과는 도 7과 도 8을 통해 확인할 수 있다. 저가형 RGB-D 카메라는 각 도면의 왼쪽 사진(7(a), 8(a))과 같이 많은 노이즈를 포함하고 있다. 특히 자동차의 표면과 같이 반짝임이 심한 표면에 대해서는 더욱 낮은 정확도를 보인다. 그러나 깊이 맵 보정방법을 적용해서 각 그림의 오른쪽 사진(7(b), 8(b))과 같이 평면의 모습을 복원하고 디테일을 더욱 살리는 모습을 볼 수 있다. A problem may arise in an edge portion of an object in a process of averaging neighboring frames based on the current frame. Due to the low cost of the low-cost RGB-D camera, when the edge of an object is photographed, the depth of the object is photographed and the background behind the object is photographed. As a result, the corners are elongated in the process of calculating the average of the depth values. To eliminate this phenomenon, we detect the edge of the object and remove the pixels of that part. The process of detecting edges is shown in Fig. A line of sight that looks at a vertex in three dimensions
Figure 112017017924083-pat00001
And the normal vector of the plane that the vertex makes with the surrounding vertices
Figure 112017017924083-pat00002
If it is close to vertical, it is determined that the vertex is at the corner and the relevant pixel is removed. This makes it possible to solve the problems occurring between the corrections. Fig. 6 shows the problem (a) caused by the depth map correction technique and the result (b) obtained by solving the problem by edge detection. The correction results for the depth map are shown in FIGS. 7 and 8. FIG. The low-cost RGB-D camera contains a lot of noise as shown in the left picture (7 (a), 8 (a)). Especially, it shows lower accuracy for a surface with a sparkle like a car surface. However, by applying the depth map correction method, you can restore the planar image as shown in the right picture (7 (b), 8 (b)

상기의 깊이 맵 보정을 통해 노이즈를 제거한 프레임들을 이용하여 카메라의 궤적을 추정할 수 있다. 도 9는 본 발명의 일 실시예에 따른 카메라궤적 추정방법의 흐름도이고, 도 10 내지 도 11은 본 발명의 실시예에 따른 카메라궤적 추정방법의 흐름도이다.The trajectory of the camera can be estimated using the noise-removed frames through the above-described depth map correction. FIG. 9 is a flowchart of a camera trajectory estimation method according to an embodiment of the present invention, and FIGS. 10 to 11 are flowcharts of a camera trajectory estimation method according to an exemplary embodiment of the present invention.

910 단계는 현재 프레임과 현재 프레임 이전 소정의 이웃 프레임들 간의 기하변환함수를 산출하는 단계이고, 920 단계는 상기 산출된 기하변환함수를 이용하여 상기 이웃 프레임들을 현재 프레임에 투영하는 단계이고, 930 단계는 현재 프레임의 픽셀 및 현재 프레임의 픽셀에 대응하는 이웃 프레임들의 픽셀에서의 깊이 값의 평균을 현재 프레임의 픽셀에서의 깊이 값으로 산출하여 현재 프레임의 깊이 맵을 보정하는 단계로 910 단계 내지 930 단계는 도 2 내지 도 8에서의 깊이 맵 보정방법과 대응하는 단계인바, 중복되는 설명은 생략하도록 한다.In step 910, a geometric transformation function between the current frame and predetermined neighboring frames before the current frame is calculated. In step 920, the neighboring frames are projected on the current frame using the calculated geometric transformation function. In step 930 Is a step of calculating an average of depth values of pixels of a current frame and pixels of neighboring frames corresponding to pixels of a current frame as depth values of pixels of a current frame to correct a depth map of the current frame, Is a step corresponding to the depth map correction method in FIGS. 2 to 8, and redundant description will be omitted.

940 단계는 상기 보정된 깊이 맵을 이용하여 카메라 궤적을 추정하는 단계이다. 910 단계 내지 930 단계에서의 깊이 맵 보정을 수행한 이후에 보정된 깊이 맵을 이용하여 카메라 궤적을 추정한다.Step 940 is a step of estimating the camera locus using the corrected depth map. After performing the depth map correction in steps 910 to 930, the camera trajectory is estimated using the corrected depth map.

오차를 줄인 깊이 맵을 이용하여 ICP 기법으로 카메라의 궤적(움직임)을 추정하고 누적을 한다고 해도 수치적 특성상 미세한 오차가 누적될 수 밖에 없다. 이를 해결하기 위해 부차적인 오차 제어 방법이 필요하다. 기존의 카메라 궤적 추정 방법은 매 프레임 간의 관계를 계산하고 누적하는 방식을 사용한다. 그러나 본 발명에서는 예측자-수정자 기법을 이용하여 기준 프레임을 설정하고 기준 프레임과 일정 정도 이상의 변화가 생기기 전까지는 기존과 동일하게 매 프레임 간의 관계를 계산하며 누적하다가 일정 정도 이상의 변화가 발생하면 기준 프레임과 현재 프레임의 관계를 비교하는 방식으로 오차의 누적 속도를 줄인다. 이를 다중레벨로 진행하여 오차의 누적 속도를 크게 줄일 수 있다.Even if the trajectory (motion) of the camera is estimated and accumulated by using the ICP technique using the error-reduced depth map, a minute error is accumulated due to numerical characteristics. A secondary error control method is needed to solve this problem. The conventional camera trajectory estimation method uses a method of calculating and accumulating the relation between each frame. However, in the present invention, the reference frame is set using the predictor-modifier technique, and the relation between each frame is calculated and accumulated until a change of more than a certain level is generated, It reduces the cumulative error rate by comparing the relationship between the frame and the current frame. It is possible to reduce the cumulative error rate by proceeding to the multi-level.

제 1 레벨에서의 추정오차 보정은 1010 단계, 1020 단계, 및 1030 단계를 통해 수행된다.The estimation error correction at the first level is performed through steps 1010, 1020, and 1030.

추정오차 보정을 위해선 먼저 기준 프레임을 설정하여야 하는바, 1010 단계에서 초기 프레임을 제 1 레벨에서의 기준 프레임으로 설정한다. 프레임들이 입력됨에 따라 1020 단계에서 현재 프레임과 현재 프레임 이전에 입력된 프레임 간의 기하변환함수로부터 제 1 레벨에서의 추정오차를 산출하여 누적한다. 상기 누적된 제 1 레벨에서의 추정오차가 임계치 이상일 경우, 1030 단계에서 현재 프레임과 상기 제 1 레벨에서의 기준 프레임간의 기하변환함수에 따른 추정오차를 산출하여 현재프레임에서의 카메라 궤적을 보정하고, 현재 프레임을 상기 제 1 레벨에서의 기준 프레임으로 설정한다.In order to correct the estimation error, the reference frame must first be set. In step 1010, the initial frame is set as the reference frame at the first level. As the frames are inputted, the estimation error at the first level is calculated and accumulated from the geometric transformation function between the current frame and the frame input before the current frame in step 1020. [ If the estimated error at the accumulated first level is equal to or greater than the threshold value, an estimation error according to the geometric transformation function between the current frame and the reference frame at the first level is calculated in step 1030 to correct the camera locus in the current frame, The current frame is set as the reference frame at the first level.

제 1 레벨에서의 추정오차를 수행하면서, 동일한 과정은 기준 프레임으로 설정되었던 프레임들간에 제 2 레벨에서의 추정오차를 수행함으로써 추정오차의 계산량을 줄일 수 있고, 정확성을 높일 수 있다.The same process can reduce the calculation amount of the estimation error and improve the accuracy by performing the estimation error at the second level between the frames that have been set as the reference frame while performing the estimation error at the first level.

제 2 레벨에서의 추정오차 보정은 1110 단계, 1120 단계, 및 1130 단계를 통해 수행된다.The estimation error correction at the second level is performed through steps 1110, 1120, and 1130.

제 2 레벨에서의 추정오차 보정을 위해 먼저 기준 프레임을 설정하여야 하는바, 1110 단계에서 상기 초기 프레임을 제 2 레벨에서의 기준 프레임으로 설정한다. 제 1 레벨에서의 기준프레임이 재설정됨에 따라 1120 단계에서 현재 프레임이 제 1 레벨에서의 기준 프레임으로 설정되면, 상기 제 1 레벨에서의 기준 프레임과 상기 제 2 레벨에서의 기준 프레임 간의 기하변환함수로부터 제 2 레벨에서의 추정오차를 산출하여 누적한다. 상기 누적된 제 2 레벨에서의 추정오차가 임계치 이상일 경우, 1130 단계에서 최근 설정된 제 1 레벨에서의 기준 프레임과 상기 제 2 레벨에서의 기준 프레임간의 기하변환함수에 따른 추정오차를 산출하여 상기 최근 설정된 제 1 레벨에서의 기준 프레임에서의 카메라 궤적을 보정하고, 상기 최근 설정된 제 1 레벨에서의 기준 프레임을 상기 제 2 레벨에서의 기준 프레임으로 설정한다.In order to correct the estimation error at the second level, a reference frame must first be set. In step 1110, the initial frame is set as a reference frame at the second level. If the current frame is set as the reference frame at the first level in step 1120 as the reference frame at the first level is reset, the geometric transformation function between the reference frame at the first level and the reference frame at the second level The estimation error at the second level is calculated and accumulated. If the estimated error in the accumulated second level is equal to or greater than the threshold, the estimation error according to the geometric transformation function between the reference frame at the first level and the reference frame at the second level, which have been recently set in step 1130, Corrects the camera locus in the reference frame at the first level, and sets the reference frame at the recently set first level as the reference frame at the second level.

상기 제 1 레벨 또는 제 2 레벨에서의 추정오차의 임계치는 카메라궤적의 허용오차에 따라 달라지거나 사용자에 의해 설정될 수 있다.The threshold value of the estimation error at the first level or the second level may be changed according to the tolerance of the camera locus or may be set by the user.

상기 추정오차를 보정하는 레벨의 단계는 3 레벨 이상으로 수행될 수 있다. 상기 추정오차를 보정하는 레벨의 단계는 프레임의 수에 따라 달라지거나 사용자에 의해 설정될 수 있다.The level step of correcting the estimation error may be performed at three or more levels. The step of the level for correcting the estimation error may depend on the number of frames or may be set by the user.

깊이 맵의 보정을 통해 제거하지 못하는 오차의 누적을 제거하는 2-레벨 예측자-수정자 기법은 도 12와 같이 도식적으로 나타낼 수 있다. 프레임 간의 기하변환함수를 계산할 때 대략적으로 1의 오차가 누적된다고 가정할 경우 기존의 방법은 도 12와 같은 상황에서 총 11의 오차가 누적된다. 그러나 1-레벨의 예측자-수정자 기법을 적용하여 노란색의 기준 프레임에서 일정 거리와 각도 이상의 변화가 생길 경우 최신의 두 프레임이 아닌 최신 프레임과 기준 프레임간의 관계를 계산함으로써 총 3의 오차를 누적할 수 있다. 이후 최신 프레임은 기준 프레임으로 설정되고 이 과정을 반복한다. 이와 같이 설정된 기준 프레임들을 입력으로 하여 다시 예측자-수정자 기법을 적용하는 2-레벨 방식을 사용하면 도 12에서 3의 오차가 발생하던 것을 1의 오차가 발생하는 것으로 크게 줄일 수 있다. 도 13 내지 도 15는 본 발명에서 제시하는 기법의 효과를 시각적으로 볼 수 있도록 카메라의 추정 궤적과 실제 궤적을 그래프로 나타낸 모습이다. 각 궤적은 가상의 데이터를 렌더링한 이후 깊이 맵에 노이즈를 시뮬레이션 한 다음 본 발명을 위해 구현한 카메라 궤적 추정 방식을 적용한 것이다. 도 13(a)는 깊이 맵 보정과 2-레벨 예측자-수정자 기법을 적용하지 않은 상태에서 카메라의 궤적을 추정한 결과다. 파란색의 계산 궤적은 검은색의 실제 궤적과 큰 차이를 나타내는 것을 볼 수 있다. 도 13(b)는 깊이 맵 보정을 통해 노이즈를 제거한 모습인데 실제 궤적과 비교적 유사한 형태로 카메라의 위치를 추정하는 모습을 볼 수 있다. 도 14는 2-레벨 예측자-수정자 기법의 적용 전 후 모습이다. 기법 적용 전인 도 14(a)는 한 번의 큰 오차가 발생한 이후 해당 추세를 그대로 유지하여 결과적으로 실제 카메라 경로와 많은 오차를 보인다. 그러나 2-레벨 예측자-수정자 기법을 통해 오차의 누적을 제한하면 도 14(b)와 같이 한 번의 큰 오차가 발생했다고 하더라도 다시 원래의 경로로 돌아오게 된다. 도 15는 마이크로소프트(Microsoft) 사의 Kinect for Windows v1(이하 Kinect1)을 이용해 촬영한 RGB-D 정보를 이용해 카메라의 위치를 추정한 모습이다. 보정 기법을 적용하기 전(도 15(a))에는 실제 경로와 큰 차이를 보이며 카메라의 위치를 추정하지만 본 발명에서 제시하는 기법의 적용을 통(도 15(b))해 실제 경로와 유사하게 경로 추적을 하는 것을 볼 수 있다.The two-level predictor-modifier technique, which eliminates accumulation of errors that can not be eliminated through correction of the depth map, can be graphically represented as in FIG. Assuming that an error of approximately 1 is accumulated when calculating the geometric transformation function between frames, a total of 11 errors are accumulated in the conventional method in the situation shown in FIG. However, if a 1-level predictor-modifier technique is applied and a change in a yellow reference frame occurs beyond a certain distance and angle, the relationship between the latest frame and the reference frame, not the latest two frames, can do. The latest frame is then set as the reference frame and the process is repeated. If the 2-level scheme in which the predictor-modifier scheme is applied with the reference frames set as described above is used, it is possible to greatly reduce the error of 3 in FIG. 12 by generating an error of 1. FIGS. 13 to 15 are graphs showing estimated trajectories and actual trajectories of the camera so that the effect of the technique presented in the present invention can be visually observed. Each trajectory is obtained by simulating noise in a depth map after rendering virtual data, and then applying a camera trajectory estimation method implemented for the present invention. 13 (a) is a result of estimating the camera trajectory without applying the depth map correction and the 2-level predictor-modifier technique. It can be seen that the calculation trajectory of blue shows a big difference from the actual trajectory of black. FIG. 13B shows a state in which the noise is eliminated through the correction of the depth map, and the position of the camera is estimated in a form comparatively similar to the actual trajectory. 14 shows the state before and after the application of the 2-level predictor-modifier technique. FIG. 14 (a) before applying the technique maintains the trend after a single large error has occurred, resulting in a large error with the actual camera path. However, if the accumulation of errors is limited through the 2-level predictor-modifier technique, even if a large error occurs as shown in FIG. 14 (b), it returns to the original path again. FIG. 15 is a view of the position of a camera using RGB-D information shot by using Microsoft's Kinect for Windows v1 (hereinafter referred to as Kinect1). 15 (a)) shows a large difference from the actual path and estimates the position of the camera. However, the method of the present invention (FIG. 15 (b) You can see the path trace.

2-레벨 예측자-수정자 기법에 대한 플로우 차트는 도 16과 같이 나타낼 수 있다. 각 레벨의 기본 원리는 '임계 값을 넘기 전에는 최근의 두 프레임 간의 관계를 계산하고 누적하지만 임계 값을 넘는 순간 기준 프레임과 최신 프레임 간의 관계를 계산하는 것'이다. 이를 2-레벨로 구성함으로써 오랜 시간 동안 카메라의 궤적을 추정해도 누적되는 오차의 양이 적어진다. A flow chart for the two-level predictor-modifier technique can be shown in FIG. The basic principle of each level is to calculate the relation between two recent frames before the threshold value is exceeded, but to calculate the relation between the reference frame and the latest frame at the moment when the threshold value is exceeded. By constructing it in two levels, it is possible to estimate the trajectory of the camera for a long time, and the amount of accumulated error is small.

본 발명의 실시예들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체 (magnetic media), CD-ROM, DVD와 같은 광기록 매체 (optical media), 플롭티컬 디스크 (floptical disk)와 같은 자기-광 매체 (magneto-optical media), 및 롬 (ROM), 램 (RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.Embodiments of the present invention may be implemented in the form of program instructions that can be executed on various computer means and recorded on a computer readable medium. The computer-readable medium may include program instructions, data files, data structures, and the like, alone or in combination. The program instructions recorded on the medium may be those specially designed and constructed for the present invention or may be available to those skilled in the art of computer software. Examples of computer-readable media include magnetic media such as hard disks, floppy disks and magnetic tape; optical media such as CD-ROMs and DVDs; magnetic media such as floppy disks; Magneto-optical media, and hardware devices specifically configured to store and execute program instructions such as ROM, RAM, flash memory, and the like. Examples of program instructions include machine language code such as those produced by a compiler, as well as high-level language code that can be executed by a computer using an interpreter or the like. The hardware devices described above may be configured to operate as one or more software modules to perform the operations of the present invention, and vice versa.

이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. As described above, the present invention has been described with reference to particular embodiments, such as specific elements, and specific embodiments and drawings. However, it should be understood that the present invention is not limited to the above- And various modifications and changes may be made thereto by those skilled in the art to which the present invention pertains.

따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.Accordingly, the spirit of the present invention should not be construed as being limited to the embodiments described, and all of the equivalents or equivalents of the claims, as well as the following claims, belong to the scope of the present invention .

110: 카메라궤적 추정장치
111: 통신부
112: 처리부
120: 카메라110: camera locus estimation device
111:
112:
120: camera

Claims (14)

초기 프레임을 제 1 레벨에서의 기준 프레임으로 설정하는 단계;
현재 프레임과 현재 프레임 이전 소정의 이웃 프레임들 간의 기하변환함수를 산출하는 단계;
상기 산출된 기하변환함수를 이용하여 상기 이웃 프레임들을 현재 프레임에 투영하는 단계;
현재 프레임의 픽셀 및 현재 프레임의 픽셀에 대응하는 이웃 프레임들의 픽셀에서의 깊이 값의 평균을 현재 프레임의 픽셀에서의 깊이 값으로 산출하여 현재 프레임의 깊이 맵을 보정하는 단계;
현재 프레임과 현재 프레임 이전에 입력된 프레임 간의 기하변환함수로부터 제 1 레벨에서의 추정오차를 산출하여 누적하는 단계;
상기 누적된 제 1 레벨에서의 추정오차가 임계치 이상일 경우, 현재 프레임과 상기 제 1 레벨에서의 기준 프레임간의 기하변환함수에 따른 추정오차를 산출하여 현재프레임에서의 카메라 궤적을 보정하고, 현재 프레임을 상기 제 1 레벨에서의 기준 프레임으로 설정하는 단계; 및
상기 보정된 깊이 맵을 이용하여 카메라 궤적을 추정하는 단계를 포함하는 카메라궤적 추정방법.Setting an initial frame to a reference frame at a first level;
Calculating a geometric transformation function between the current frame and predetermined neighboring frames before the current frame;
Projecting the neighboring frames to a current frame using the calculated geometric transformation function;
Correcting a depth map of a current frame by calculating an average of depth values of pixels of a current frame and pixels of neighboring frames corresponding to pixels of the current frame as depth values of pixels of a current frame;
Calculating and accumulating an estimation error at a first level from a geometric transformation function between a current frame and a frame input before the current frame;
Calculating an estimation error according to the geometric transformation function between the current frame and the reference frame at the first level to correct the camera locus in the current frame when the estimated error at the accumulated first level is equal to or greater than the threshold, Setting a reference frame at the first level; And
And estimating a camera trajectory using the corrected depth map. 제 1 항에 있어서,
현재 프레임에 나타나는 물체의 모서리를 감지하여 상기 모서리에 해당하는 픽셀을 제거하는 단계를 더 포함하는 카메라궤적 추정방법.The method according to claim 1,
Detecting a corner of an object appearing in a current frame and removing pixels corresponding to the corner. 제 1 항에 있어서,
현재 프레임의 입력과 동시에 이전 이웃 프레임들 간의 기하변환함수를 산출하여 깊이 맵 보정 과정을 수행하는 것을 특징으로 하는 카메라궤적 추정방법.The method according to claim 1,
Calculating a geometric transformation function between previous neighboring frames at the same time of inputting the current frame, and performing a depth map correction process. 제 1 항에 있어서,
상기 기하변환함수는,
상기 이웃 프레임과 모든 픽셀들을 비교하여 프레임 간의 에너지를 산출하고, 기하변환에 대한 비용 함수를 설정하여 에너지를 최소화하는 방향으로 산출되는 것을 특징으로 하는 카메라궤적 추정방법.The method according to claim 1,
Wherein the geometric transformation function comprises:
Calculating energy between frames by comparing all the pixels of the neighboring frame with each other, calculating a cost function for the geometric transformation, and minimizing the energy. 제 1 항에 있어서,
상기 기하변환함수는 ICP(Iterative Closest Point) 기법을 이용하여 산출되는 것을 특징으로 하는 카메라궤적 추정방법.The method according to claim 1,
Wherein the geometric transformation function is calculated using an ICP (Iterative Closest Point) technique. 제 1 항에 있어서,
상기 기하변환함수는,
기존에 이웃 프레임들간에 산출되어 저장된 기하변환함수들을 이용하여 현재 프레임에 대한 기하변환함수를 산출하는 것을 특징으로 하는 카메라궤적 추정방법.The method according to claim 1,
Wherein the geometric transformation function comprises:
Wherein the geometric transformation function for the current frame is calculated using the geometric transformation functions calculated and stored between neighboring frames. 삭제delete 삭제delete 제 1 항에 있어서,
상기 초기 프레임을 제 2 레벨에서의 기준 프레임으로 설정하는 단계;
현재 프레임이 제 1 레벨에서의 기준 프레임으로 설정되면, 상기 제 1 레벨에서의 기준 프레임과 상기 제 2 레벨에서의 기준 프레임 간의 기하변환함수로부터 제 2 레벨에서의 추정오차를 산출하여 누적하는 단계;
상기 누적된 제 2 레벨에서의 추정오차가 임계치 이상일 경우, 최근 설정된 제 1 레벨에서의 기준 프레임과 상기 제 2 레벨에서의 기준 프레임간의 기하변환함수에 따른 추정오차를 산출하여 상기 최근 설정된 제 1 레벨에서의 기준 프레임에서의 카메라 궤적을 보정하고, 상기 최근 설정된 제 1 레벨에서의 기준 프레임을 상기 제 2 레벨에서의 기준 프레임으로 설정하는 단계를 더 포함하는 카메라궤적 추정방법.The method according to claim 1,
Setting the initial frame as a reference frame at a second level;
Calculating and accumulating an estimation error at a second level from a geometric transformation function between the reference frame at the first level and the reference frame at the second level when the current frame is set as the reference frame at the first level;
Calculating an estimation error according to a geometric transformation function between a reference frame at a first level and a reference frame at a second level, which have been set recently, if the estimation error at the accumulated second level is equal to or greater than a threshold, Correcting the camera trajectory in the reference frame at the first level and setting the reference frame at the recently set first level as the reference frame at the second level. 제 9 항에 있어서,
상기 추정오차를 보정하는 레벨의 단계는 프레임의 수에 따라 달라지거나 사용자에 의해 설정되는 것을 특징으로 하는 카메라궤적 추정방법.10. The method of claim 9,
Wherein the step of correcting the estimation error is dependent on the number of frames or is set by a user. 제 1 항 내지 제 6 항, 제 9 항, 제 10 항 중에 어느 한 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.A computer-readable recording medium storing a program for causing a computer to execute the method according to any one of claims 1 to 6, 9, and 10. 카메라 또는 외부로부터 이미지 프레임을 입력받는 통신부; 및
입력받은 현재 프레임과 현재 프레임 이전 소정의 이웃 프레임들 간의 기하변환함수를 산출하고, 상기 산출된 기하변환함수를 이용하여 상기 이웃 프레임들을 현재 프레임에 투영하며, 현재 프레임의 픽셀 및 현재 프레임의 픽셀에 대응하는 이웃 프레임들의 픽셀에서의 깊이 값의 평균을 현재 프레임의 픽셀에서의 깊이 값으로 산출하여 현재 프레임의 깊이 맵을 보정하고, 상기 보정된 깊이 맵을 이용하여 카메라 궤적을 추정하는 처리부를 포함하고,
상기 처리부는,
초기 프레임을 제 1 레벨에서의 기준 프레임으로 설정하고, 현재 프레임과 현재 프레임 이전에 입력된 프레임 간의 기하변환함수로부터 제 1 레벨에서의 추정오차를 산출하여 누적하며, 상기 누적된 제 1 레벨에서의 추정오차가 임계치 이상일 경우, 현재 프레임과 상기 제 1 레벨에서의 기준 프레임간의 기하변환함수에 따른 추정오차를 산출하여 현재프레임에서의 카메라 궤적을 보정하고, 현재 프레임을 상기 제 1 레벨에서의 기준 프레임으로 설정하는 것을 특징으로 하는 카메라궤적 추정장치.A communication unit for receiving an image frame from a camera or from outside; And
The geometric transformation function between the input current frame and predetermined neighboring frames before the current frame is calculated, the neighboring frames are projected onto the current frame using the calculated geometric transformation function, and the pixels of the current frame and the pixels of the current frame A processor for calculating an average of depth values in pixels of corresponding neighboring frames as a depth value in a pixel of a current frame to correct a depth map of the current frame and estimating a camera locus using the corrected depth map; ,
Wherein,
The initial frame is set as the reference frame at the first level and the estimation error at the first level is calculated and accumulated from the geometric transformation function between the current frame and the frame input before the current frame, And estimating an error according to the geometric transformation function between the current frame and the reference frame at the first level to correct the camera locus in the current frame when the estimation error is equal to or greater than the threshold, The camera trajectory estimating apparatus comprising: 삭제delete 제 12 항에 있어서,
상기 처리부는,
상기 초기 프레임을 제 2 레벨에서의 기준 프레임으로 설정하고, 현재 프레임이 제 1 레벨에서의 기준 프레임으로 설정되면, 상기 제 1 레벨에서의 기준 프레임과 상기 제 2 레벨에서의 기준 프레임 간의 기하변환함수로부터 제 2 레벨에서의 추정오차를 산출하여 누적하며, 상기 누적된 제 2 레벨에서의 추정오차가 임계치 이상일 경우, 최근 설정된 제 1 레벨에서의 기준 프레임과 상기 제 2 레벨에서의 기준 프레임간의 기하변환함수에 따른 추정오차를 산출하여 상기 최근 설정된 제 1 레벨에서의 기준 프레임에서의 카메라 궤적을 보정하고, 상기 최근 설정된 제 1 레벨에서의 기준 프레임을 상기 제 2 레벨에서의 기준 프레임으로 설정하는 것을 특징으로 하는 카메라궤적 추정장치.13. The method of claim 12,
Wherein,
Setting the initial frame as a reference frame at a second level and setting a current frame as a reference frame at a first level, a geometric transformation function between the reference frame at the first level and the reference frame at the second level And when the estimated error at the accumulated second level is equal to or more than the threshold value, the geometric transformation between the reference frame at the first level set recently and the reference frame at the second level The camera trajectory in the reference frame at the recently set first level is corrected by calculating an estimation error according to the function and the reference frame at the recently set first level is set as the reference frame at the second level The camera trajectory estimation apparatus comprising:
KR1020170022963A 2017-02-21 2017-02-21 Depth Map Filtering and Two-level Predictor-Corrector Method for Precision Enhancement of RGB-D Camera Pose Estimation KR101956312B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170022963A KR101956312B1 (en) 2017-02-21 2017-02-21 Depth Map Filtering and Two-level Predictor-Corrector Method for Precision Enhancement of RGB-D Camera Pose Estimation

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170022963A KR101956312B1 (en) 2017-02-21 2017-02-21 Depth Map Filtering and Two-level Predictor-Corrector Method for Precision Enhancement of RGB-D Camera Pose Estimation

Publications (2)

Publication Number Publication Date
KR20180096355A KR20180096355A (en) 2018-08-29
KR101956312B1 true KR101956312B1 (en) 2019-03-08

Family

ID=63434980

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170022963A KR101956312B1 (en) 2017-02-21 2017-02-21 Depth Map Filtering and Two-level Predictor-Corrector Method for Precision Enhancement of RGB-D Camera Pose Estimation

Country Status (1)

Country Link
KR (1) KR101956312B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210063723A (en) 2019-11-25 2021-06-02 한국전자기술연구원 Method for posture estimation of user wearing Head Mounted Display

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109903332A (en) * 2019-01-08 2019-06-18 杭州电子科技大学 A kind of object's pose estimation method based on deep learning
CN110415285A (en) * 2019-08-02 2019-11-05 厦门美图之家科技有限公司 Image processing method, device and electronic equipment

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015176600A (en) * 2014-03-13 2015-10-05 セイコーエプソン株式会社 System generating three-dimensional model, method and program

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9582707B2 (en) 2011-05-17 2017-02-28 Qualcomm Incorporated Head pose estimation using RGBD camera

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015176600A (en) * 2014-03-13 2015-10-05 セイコーエプソン株式会社 System generating three-dimensional model, method and program

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210063723A (en) 2019-11-25 2021-06-02 한국전자기술연구원 Method for posture estimation of user wearing Head Mounted Display

Also Published As

Publication number Publication date
KR20180096355A (en) 2018-08-29

Similar Documents

Publication Publication Date Title
US10097812B2 (en) Stereo auto-calibration from structure-from-motion
US10404917B2 (en) One-pass video stabilization
KR101776622B1 (en) Apparatus for recognizing location mobile robot using edge based refinement and method thereof
KR101725060B1 (en) Apparatus for recognizing location mobile robot using key point based on gradient and method thereof
JP6351238B2 (en) Image processing apparatus, imaging apparatus, and distance correction method
KR101776621B1 (en) Apparatus for recognizing location mobile robot using edge based refinement and method thereof
TWI536318B (en) Depth measurement quality enhancement
US8755630B2 (en) Object pose recognition apparatus and object pose recognition method using the same
KR101776620B1 (en) Apparatus for recognizing location mobile robot using search based correlative matching and method thereof
US9454851B2 (en) Efficient approach to estimate disparity map
EP2698766B1 (en) Motion estimation device, depth estimation device, and motion estimation method
US20140210950A1 (en) Systems and methods for multiview metrology
US10957068B2 (en) Information processing apparatus and method of controlling the same
WO2022052582A1 (en) Image registration method and device, electronic apparatus, and storage medium
JP6112221B2 (en) Moving object position estimation apparatus and moving object position estimation method
CA3005894A1 (en) Methods and systems for large-scale determination of rgbd camera poses
KR101956312B1 (en) Depth Map Filtering and Two-level Predictor-Corrector Method for Precision Enhancement of RGB-D Camera Pose Estimation
JP6563050B2 (en) System and method for image motion compensation
JP7212486B2 (en) position estimator
US10708571B2 (en) Video frame processing
CN111738085B (en) System construction method and device for realizing automatic driving simultaneous positioning and mapping
EP3676801B1 (en) Electronic devices, methods, and computer program products for controlling 3d modeling operations based on pose metrics
CN115494856A (en) Obstacle avoidance method and device, unmanned aerial vehicle and electronic equipment
JP6245968B2 (en) Image processing apparatus, imaging apparatus, and control method
KR102336284B1 (en) Moving Object Detection Method and System with Single Camera

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant