KR20190080641A - 실내 복원 방법 - Google Patents

실내 복원 방법 Download PDF

Info

Publication number
KR20190080641A
KR20190080641A KR1020170183212A KR20170183212A KR20190080641A KR 20190080641 A KR20190080641 A KR 20190080641A KR 1020170183212 A KR1020170183212 A KR 1020170183212A KR 20170183212 A KR20170183212 A KR 20170183212A KR 20190080641 A KR20190080641 A KR 20190080641A
Authority
KR
South Korea
Prior art keywords
layout
global
plane
matching
indoor
Prior art date
Application number
KR1020170183212A
Other languages
English (en)
Other versions
KR102494552B1 (ko
Inventor
윤국진
이정균
Original Assignee
광주과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 광주과학기술원 filed Critical 광주과학기술원
Priority to KR1020170183212A priority Critical patent/KR102494552B1/ko
Publication of KR20190080641A publication Critical patent/KR20190080641A/ko
Application granted granted Critical
Publication of KR102494552B1 publication Critical patent/KR102494552B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Image Analysis (AREA)

Abstract

깊이 카메라로 촬영한 동영상을 이용하여 3차원 실내 복원하는 방법이 개시된다. 본 발명의 일 실시 예에 따른 3차원 실내 복원 방법은, 깊이 측정 카메라를 이용해 실내를 촬영한 동영상을 획득하는 단계, 획득한 동영상을 이용하여 3차원 복원을 위한 초기 데이터를 만드는 단계, 상기 초기 데이터로부터 레이아웃을 추정하는 단계, 상기 추정된 레이아웃을 활용하여 글로벌 3차원 데이터 정합을 수행하는 단계를 포함한다.

Description

실내 복원 방법{a Method for Indoor Reconstruction}
본 발명은 실내를 3차원으로 복원하는 기술에 관한 것이다. 구체적으로, 조인트 레이아웃 추정 및 전역 멀티-뷰 정합을 이용하는 실내 3차원 복원 기술에 관한 것이다.
본 발명의 배경이 되는 기술은 저가형 깊이 측정 카메라(depth camera)를 이용하여 실내를 3차원으로 복원하는 기술로서, Simultaneous localization and mapping(SLAM), 3D reconstruction 등이 해당한다.
기존에 RGB 카메라를 이용한 SLAM 및 3차원 복원 등의 연구가 많이 이루어졌으나, RGB 영상을 이용하게 되면, 텍스처가 부족한 장면에서 알고리즘이 잘 동작하지 않는 현상이 발생하기도 하며, 거리 측정이 정확하지 않은 단점이 있다.
최근 저가형 깊이 측정 카메라가 상용화됨에 따라 이를 이용하여 앞서 언급된 단점을 보완할 수 있는 3차원 복원 연구가 활발히 진행되고 있다.
선행기술 1은 깊이 측정 카메라를 이용해 3차원 복원을 수행하는 가장 대표적인 연구이다. Iterative closest point(ICP) 알고리즘을 이용하여 카메라의 자세를 연속적으로 추정하며, Truncated signed distance function(TSDF)를 이용해 매 프레임에서 얻은 각 픽셀의 깊이 정보를 3차원 볼륨 공간에 투영함으로써 3차원 복원 결과를 실시간으로 획득한다.
그러나, 선행기술 1은 카메라 자세 추정 시 발생하는 누적 오차(drift error)에 취약하고, GPU 메모리의 한계로 인해 좁은 공간의 복원만 가능하다. 따라서 이러한 문제를 해결하기 위한 다양한 연구가 진행되고 있다.
하지만, 기존 알고리즘이 여전히 잘 동작하지 않는 경우(예를 들어, loop closure가 미검출/오검출 되는 경우, loop closure: 카메라가 이전에 촬영했던 장소로 다시 돌아오는 것을 감지하고, 이를 기반으로 카메라 자세 추정 시 발생하는 누적 오차를 최소화 시키는 알고리즘)가 발생하며, 따라서 이하에서는 기존의 기술에서의 문제를 해결하며 실내 3차원 복원 기술의 성능을 향상시킬 수 있는 방법을 설명한다.
R. A. Newcombe, S. Izadi, O. Hilliges, D. Molyneaux,D. Kim, A. J. Davison, P. Kohli, J. Shotton, S. Hodges, and A. Fitzgibbon. Kinectfusion: Real-time dense surface mapping and tracking. In ISMAR, 2011. S. Choi, Q.-Y. Zhou, and V. Koltun. Robust reconstruction of indoor scenes. In CVPR, 2015. R. B. Rusu, N. Blodow, and M. Beetz. Fast point feature histograms (fpfh) for 3d registration. In ICRA, 2009. Y. Boykov, O. Veksler, and R. Zabih. Fast approximate energy minimization via graph cuts. TPAMI, 23(11):1222??1239, 2001. R. B. Rusu and S. Cousins. 3D is here: Point Cloud Library (PCL). In ICRA, 2011. M. Iwanowski. Morphological boundary pixel classification. In International Conference on "Computer as a Tool", 2007. Y. Chen and G. Medioni. Object modeling by registration of multiple range images. Image and Vision Computing, 10(3):145??155, 1992. T. Whelan, M. Kaess, M. Fallon, H. Johannsson, J. Leonard, and J. McDonald. Kintinuous: Spatially extended Kinect-Fusion. In RSS Workshop on RGB-D: Advanced Reasoning with Depth Cameras, 2012. T. Whelan, S. Leutenegger, R. S. Moreno, B. Glocker, and A. Davison. Elasticfusion: Dense slam without a pose graph. In RSS, 2015. J. Xiao, A. Owens, and A. Torralba. SUN3D: A database of big spaces reconstructed using sfm and object labels. In ICCV, 2013.
본 발명에서는 복원될 실내 구조의 레이아웃을 추정하고 이를 활용하여 3차원 복원 정확도를 향상시키고자 한다.
본 발명의 일 실시 예에 따른 3차원 실내 복원 방법은, 깊이 측정 카메라를 이용해 실내를 촬영한 동영상을 획득하는 단계, 획득한 동영상을 이용하여 3차원 복원을 위한 초기 데이터를 만드는 단계, 상기 초기 데이터로부터 레이아웃을 추정하는 단계, 상기 추정된 레이아웃을 활용하여 글로벌 3차원 데이터 정합을 수행하는 단계를 포함한다.
본 발명의 일 실시 예에 따른 실내 복원 방법은 카메라 자세 추정 시 발생하는 누적 오차에 취약하고, GPU 메모리의 한계로 인해 좁은 공간의 복원만 가능한 문제를 해결하고 실내 3차원 복원 기술의 성능을 향상시킬 수 있다.
도 1은 본 발명의 일 실시 예에 따른 실내 3차원 복원 기술 알고리즘의 전체적인 흐름을 나타낸다.
도 2는 계층적 응집적 군집화 및 에너지 기반 다중 모델 정합에 의한 평면 군집화 결과를 나타낸다.
도 3은 레이아웃 추정 과정을 나타낸다.
도 4는 본 발명의 일 실시 예에 따른 레이아웃 추정과 글로벌 정합의 결합적 최적화 알고리즘이다.
도 5는 도 4의 알고리즘에 따라 반복적인 최적화를 한 결과에 따른 복원 품질의 향상을 나타낸다.
이하에서는 도면을 참조하여 본 발명의 구체적인 실시예를 상세하게 설명한다. 그러나 본 발명의 사상은 이하의 실시예에 제한되지 아니하며, 본 발명의 사상을 이해하는 당업자는 동일한 사상의 범위 내에 포함되는 다른 실시예를 구성요소의 부가, 변경, 삭제, 및 추가 등에 의해서 용이하게 제안할 수 있을 것이나, 이 또한 본 발명 사상의 범위 내에 포함된다고 할 것이다.
첨부 도면은 발명의 사상을 이해하기 쉽게 표현하기 위하여 전체적인 구조를 설명함에 있어서는 미소한 부분은 구체적으로 표현하지 않을 수도 있고, 미소한 부분을 설명함에 있어서는 전체적인 구조는 구체적으로 반영되지 않을 수도 있다. 또한, 설치 위치 등 구체적인 부분이 다르더라도 그 작용이 동일한 경우에는 동일한 명칭을 부여함으로써, 이해의 편의를 높일 수 있도록 한다. 또한, 동일한 구성이 복수 개가 있을 때에는 어느 하나의 구성에 대해서만 설명하고 다른 구성에 대해서는 동일한 설명이 적용되는 것으로 하고 그 설명을 생략한다.
상술한 바와 같이, 기존의 문제를 해결하기 위해 본 발명에서는 복원될 실내 구조의 레이아웃을 추정하고, 이를 이용하여 3차원 복원 정확도를 향상시키고자 하였다. 즉, 본 발명에서는 바닥과 천장이 평행하며 벽에 수직하도록 실내 구조를 제약하여 실내를 복원한다.
도 1은 본 발명의 일 실시 예에 따른 실내 3차원 복원 기술 알고리즘의 전체적인 흐름을 나타낸다.
도 1에 도시된 알고리즘은 각 단계가 각각 초기 정합부, 레이아웃 추정부, 레이아웃을 이용한 글로벌 정합부로 명명되는 모듈에 의해 구현될 수 있다. 또한, 도 1에 도시된 알고리즘은 각 단계가 프로그램화 된 애플리케이션에 의해 수행되거나, 또는 애플리케이션이 설치된 시스템에 의해 수행될 수 있다. 여기에서 시스템이란 애플리케이션이 설치되고 실행이 가능한 하드웨어 장치를 의미할 수 있으며, 상술한 각 모듈은 하나의 하드웨어 장치에 모두 마련될 수도 있으며, 복수의 서로 다른 하드웨어 장치에 나누어 마련될 수도 있다.
본 발명의 일 실시예에 따른 실내 3차원 복원 기술 알고리즘을 간단하게 설명하면, 우선 기존 알고리즘(선행기술 2)를 이용하여 실내의 부분별 3차원 볼륨 데이터를 형성하고 글로벌 3차원 데이터 정합(Global ICP)를 수행해 누적 오차로 인한 불완전한 3차원 복원 데이터를 획득한다. 그리고 불완전 3차원 복원 데이터를 레이아웃 추정과 레이아웃 제약 기반의 Global ICP를 반복적으로 수행하여 보완된 데이터를 획득한다. 이하에서 글로벌 3차원 데이터 정합 방법을 순차적으로 설명한다.
1. 초기 글로벌 3차원 데이터 정합(Initial registration)
깊이 측정 카메라를 이용해 실내를 촬영한 동영상이 주어졌을 때, 3차원 복원을 위한 초기 데이터를 만들기 위하여 선행기술 2에 따른 알고리즘을 이용한다. 선행기술 2에 따른 알고리즘은 아래에서 설명하는 1) 부분적 3차원 복원, 2) 루프 결합 검출, 그리고 3)자세 그래프 최적화의 3단계로 구성된다.
(1) 부분적 3차원 복원
건물의 실내가 우선 부분적으로 복원된다. 구체적으로, 깊이 측정 카메라를 이용해 촬영한 동영상이 50프레임씩 나누어 3차원 복원이 수행되고, 그 복원된 장면 조각(scene fragment)들이 3차원 전역 좌표계(3D global coordination)에 정합(registration)된다. 이렇게 하는 이유는 적은 수의 프레임을 이용한 3차원 복원은 어느 정도 정확한 복원이 가능하며, 그러면 대규모의 실내 3차원 복원 문제는 장면 조각들을 전역 좌표계에 정합(global registration)하는 문제로 단순화되어질 수 있기 때문이다.
장면 조각들(
Figure pat00001
)을 만들기 위해서, 선행기술 1에서 소개하는 KinectFusion 알고리즘이 사용된다. KinectFusion 알고리즘을 이용하면 연속된 프레임 간 카메라의 자세 변화를 추정해주기 때문에, 연속된 장면 조각들 간의 좌표계(혹은 자세) 변환 행렬(Ti, i+1)을 알 수 있으며, 이 변환 행렬의 순차적인 곱을 통해 각 장면 조각들을 전역 좌표계에 정합시킬 수 있다. 이러한 과정을 통해 장면 조각들의 집합(
Figure pat00002
)에 대해, 장면 조각들을 전역 좌표계로 정합시키는 변환 행렬(
Figure pat00003
)을 구할 수 있다.
(2) 루프 결합(loop closure) 검출
장면 조각들 간 변환 행렬(Ti, i+1)을 이용하여 글로벌 정합(global registration)을 수행할 경우 자세 추정에 대한 누적 오차가 발생하는바 부정확한 실내 복원 결과가 제공될 수 있다. 따라서, 이를 보완하기 위해 루프 결합을 검출하고, 검출 결과에 기초하여 변환 행렬을 최적화하는 단계가 수행된다.
루프 결합을 검출하기 위해 FPFH 기술자(선행기술 3)를 이용해 장면 조각들 간 정합이 수행된다. 만약 한쌍의 장면 조각 Fi, Fj에 대해 정합했을 때 겹치는 영역의 비율이 30%이상이면, 그 한쌍의 장면 조각을 루프 결합에 성공한것으로 간주하고, 그 정합 결과로부터 변환 행렬(Ti,j)이 정의된다.
(3) 자세 그래프(pose graph) 최적화
루프 결합이 검출되면, 자세 그래프, 즉, 변환 행렬의 집합(
Figure pat00004
)이 최적화된다. Ti는 장면 조각 Fi를 전역 좌표계로 변환하는 행렬로 정의되며,
Figure pat00005
는 j번째 장면 조각 좌표들 Fj를 i번째 장면 조각 좌표계로 변환하는 행렬로 정의된다. 그리고 난뒤, 아래 수학식 1에 따라 에너지 함수를 최소화함으로써, 최적의 변환 행렬(
Figure pat00006
)과 라인 프로세스(line process) (
Figure pat00007
)가 추정될 수 있다.
Figure pat00008
여기에서, 함수
Figure pat00009
는 부분적 3차원 복원에 의해 계산된 변환 행렬과 Ta, Tb로부터 계산된 변환 행렬간의 차이를 측정한다.
Figure pat00010
는 0 ~ 1의 값을 갖는 라인 프로세스의 매개 변수이다. 함수
Figure pat00011
는 올바른 루프 결합(inlier loop closure)의 수를 최대화 해주며, lij가 일정 임계치 이상이면 i와 j번째 조각이 올바른 루프 결합을 이룸을 의미한다.
2. 레이아웃 추정(Layout estimation)
레이아웃 추정 문제는 실내를 대표하는 평면을 찾는 문제이다. 바닥, 천장, 벽 등과 같이 평면들의 집합으로 구성된 실내의 레이아웃을 추정하기 위해 먼저 대표 평면(dominant plane, Pdominant)이 추정되고, 다음에 대표 평면으로부터 레이아웃 평면들의 집합(Playout)이 선택된다.
(1) 대표 평면 추출(Dominant plane extraction)
도 2는 계층적 응집적 군집화 및 에너지 기반 다중 모델 정합에 의한 평면 군집화 결과를 나타낸다.
먼저, 장면 조각(Fi)을 수퍼복셀들(supervoxels)의 집합(
Figure pat00012
)으로 나눈다. 그리고 임의의 세개의 인접한 수퍼복셀을 선택하고, 그 수퍼복셀들의 중심점을 이용하여 평면 파라미터 추측치(plane parameter hypothesis,
Figure pat00013
)를 계산한다. 이렇게 하는 이유는 선택된 수퍼복셀의 모든 점을들 이용하는 것보다 빠르게 평면 파라미너를 계산할 수 있기 때문이다. 벽과 같이 넓은 평면을 갖는 영역은 유사한 다수의 평면 파라미터가 존재하는바, 이들을 군집화(clustering)하여 하나의 평면 파라미터로 표현할 필요가 있다. 이를 위해 본 발명에서는 두 단계의 군집화를 통해 대표 평면을 추출하는 방법을 제안한다.
첫번째 군집화 단계로 계층적 응집적 군집화(hierarchical agglomerative clustering, HAC)를 통해 평면 파라미터를 병합한다. 이를 위해 임의의 수퍼복셀 Sk와 임의의 평면 파라미터 추측치(
Figure pat00014
) 사이의 거리를 측정하는 함수를 아래 수학식 2와 같이 정의한다.
Figure pat00015
여기에서
Figure pat00016
는 수퍼복셀 내 3차원 점의 개수를 의미하며, 거리함수 d()는 수학식 3과 같이 정의된다.
Figure pat00017
여기에서, 평면 파라미터는
Figure pat00018
로 정의되며,
Figure pat00019
는 수퍼복셀 Sk에 속하는 3차원 점 P의 동차 좌표(homogeneous coordinate), 즉
Figure pat00020
를 의미한다. 군집화된 수퍼복셀들은 병합된 하나의 평면 파라미터를 계산하는데 사용된다.
하지만, 장면 조각 경계 부분에서는 지역적으로 왜곡되어 복원된 경우가 많아 같은 평면으로 군집화되어야 할 부분이 여전히 군집화되지 못한채로 남아있는 경우가 발생한다. 따라서, 이러한 부분들의 군집화를 가능케하기 위해 본 발명에서는 두 번째 군집화 단계로 에너지 기반 다중 모델 정합 방법을 제안한다.
장면 조각 내의 3차원 점들(
Figure pat00021
)과 평면 파라미터 추측치들(
Figure pat00022
)이 주어질 때, 본 발명에서 해결하고자 문제는 3차원 점(p)를 평면 파라미터에 매핑하는 함수
Figure pat00023
를 구하는 것으로 정의된다. 이 문제를 해결하기 위한 에너지 함수 EP는 아래 수학식 4와 같이 정의된다.
Figure pat00024
여기에서 데이터 항(Dp)는 3차원 점(p)와 평면 파라미터 사이의 거리를 측정하는 수학식 5와 같이 정의된다.
Figure pat00025
여기에서
Figure pat00026
는 상수이다.
Figure pat00027
는 평면 파라미터가 할당되지 않은 상태를 의미하는데, 이는 비평면 위에 놓여진 점들 혹은 잡음이 큰 점들에
Figure pat00028
를 할당하기 위함이다. 스무드 항(smoothness term) Vp,q는 Pott 모델(선행기술 4)이 사용된다. Pott 모델은
Figure pat00029
로 정의되며, 여기에서
Figure pat00030
는 패널티 파라미터(penalty weight)이고, 함수(T)는 함수 안의 내용이 참이면 1, 그렇지 않으면 0을 출력하는 함수이다.
Np는 점 p에 이웃하는 점들의 집합으로, k 최근접이웃(k-nearest neighbor, k-NN) 알고리즘(선행기술 5)을 이용해 추정된다. 에너지 함수 Ep는 그래프 컷(graph cuts)을 이용하여 최적의 매핑 h를 추정한다.
결과적으로, 적은 수의 병합된 평면 파리미터를 획득할 수 있으며, 각 조각Fi에서 추정된 평면 파라미터를 전역 좌표계로 모두 변환하여 투영시키면 (a)와 같이 표현된다.
다음으로, (a)와 같이 전역 좌표계로 투영된 평면들을 병합하여 (b)와 같이 대표 평면들로 나타내기 위해 HAC 알고리즘을 다시 사용하여 평면들을 병합한다. 일 실시 예에서, 수학식 4에 따른 에너지 기반 다중 모델 정합 방식을 이용하여 (a)와 같은 병합된 평면을 획득할 수 있고, 수학식 2에 따른 HAC 알고리즘을 이용하여 (b)와 같은 대표 평면들을 획득할 수 있다.
(2) 레이아웃 평면 추정(Layout plane estimation)
도 3은 레이아웃 추정 과정을 나타낸다.
앞에서 추정된 대표 평면들(Pdominant)과 군집화된 점무리가 주어지는 경우, 바닥, 천장, 벽 등을 포함하는 레이아웃 평면을 추정할 수 있다. 이때, 레이아웃 평면 추정을 위한 알고리즘으로 일 실시 예에서 약한 맨해튼 세계 가정(weak Manhattan world assumption)을 이용할 수 있다. 이를 통해 레이아웃 평면 추정과정에서 수직에 거의 가까운 평면들을 강제적으로 수직하게 만들어 레이아웃 추정의 정확도를 향상시킬 수 있다.
도 3에 도시된 바와 같이, 본 발명에서는 두 단계를 거쳐 레이아웃 평면들의 집합(Playout)을 찾는다. 첫 번째 단계는 천장 혹은 바닥으로 가정되는 대표 평면들 중에 가장 넓은 영역을 갖는 기저 평면(base plane)을 찾는 것이다. 도 3의 점유 격자 생산(Occupancy grid generation)에 도시된 바와 같이, 각 평면에 평행한 점유 격자 지도(Occupancy grid map)를 만들고, 그 평면에 속하는 점들을 점유 격자 지도에 투영시킨다. 그리고 나서 점유된 격자의 수를 세어 가장 많은 영역을 점유한 평면을 기저 평면으로 결정한다.
두 번째 단계는 기저 평면에 수직한 평면들, 즉, 벽을 찾아내는 단계이다. 먼저 기저 평면과 평행한 점유 격자 지도를 형성한다. 그리고 전역 좌표계로 투영된 모든 장면 조각에 속하는 모든 점들을 점유 격자 지도로 사영시킨다. 만약, 점유 격자 지도의 어떤 칸에 사영된 점들의 수가 일정 임계치 이상이면, 해당 칸은 점유된것으로 판단한다. 이렇게 만들어진 점유 격자 지도는 모폴로지 경계 검출 방법(선행기술 6)을 이용해 점유 격자의 경계(
Figure pat00031
), 즉, 경계면에 해당하는 위치를 알 수 있다. 최종적으로 수학식 6에 따라 계산된 값이 1인 평면을 레이아웃 평면으로 결정한다.
Figure pat00032
여기에서,
Figure pat00033
와
Figure pat00034
는 선택된 대표 평면과 기저 평면의 법선 벡터를 나타낸다. 첫 번째 판단 기준은 두 평면의 수직성을 검사하는 것이며, 두 번째 판단 기준은 해당 대표 평면(
Figure pat00035
)과 경계면(
Figure pat00036
) 사이의 거리를 측정한다.
Figure pat00037
과
Figure pat00038
는 사용자에 의해 정해진 상수 파라미터이다. 거리함수 g()는 아래 수학식 7과 같이 정의된다.
Figure pat00039
여기에서 pproj는 점p를 기저 평면에 투영한 점을 의미하며,
Figure pat00040
는 평면(
Figure pat00041
)에 속하는 점들의 집합을 의미하고,
Figure pat00042
는 점들의 집합(
Figure pat00043
)에 속하는 점들의 수를 나타낸다.
3. 레이아웃 제약을 이용한 글로벌 3차원 데이터 정합(Layout-constrained global registration)
글로벌 정합이란, 앞서 추정된 레이아웃을 활용하여 장면 조각들의 집합을 전역 좌표계에 정합시킴으로써, 실내를 3차원으로 복원하는 것을 의미한다. 본 발명의 일 실시 예에서 글로벌 3차원 데이터 정합은 레이아웃 추정 문제와 글로벌 정합 문제가 서로 의존적인 특성을 이용해 두 문제를 서로 번갈아가며 해결하는 결합적 접근법을 제안한다. 이하에서 이를 상세하게 설명한다.
도 4는 본 발명의 일 실시 예에 따른 레이아웃 추정과 글로벌 정합의 결합적 최적화 알고리즘이다.
도 5는 도 4의 알고리즘에 따라 반복적인 최적화를 한 결과에 따른 복원 품질의 향상을 나타낸다.
여기에서,
Figure pat00044
는 장면 조각의 쌍으로 이루어진 집합으로 정의하며, 겹쳐진 영역이 존재하는 한 쌍의 조각(
Figure pat00045
)에 대하여 겹쳐진 영역에 대한 대응점들의 집합을
Figure pat00046
로 정의한다. 이와 유사하게, 조각
Figure pat00047
와 레이아웃 사이의 대응되는 점들의 집합을
Figure pat00048
로 나타낸다. 레이아웃은 평면 파라미터 형태로 존재하기 때문에, 가상적으로 3차원 점을 만들어주어야 한다 이를 위해
Figure pat00049
의 점을 레이아웃 평면에 투영하여 그 점을 레이아웃의 점으로 정의하고, 두 점간의 거리가 작은 경우, 그 주점을 대응점으로써 정의한다. 조각에 속하는 임의의 3차원 점(
Figure pat00050
)과 임의의 장면 조각으로부터 전역 좌표계로 변환시키는 행렬(T)에 대하여 전역 좌표계로 변환된 좌표는
Figure pat00051
로 구해지며,
Figure pat00052
은 회전 행렬(rotation matrix),
Figure pat00053
는 병진 벡터(translation vector)를 나타낸다.
모든 조각들에 대한 글로벌 정합을 위해 수학식 8과 같이 에너지 함수를 정의한다.
Figure pat00054
여기에서,
Figure pat00055
와
Figure pat00056
는 가중치 파라미터(weighting parameter)이며,
Figure pat00057
는 계산되는 점들의 개수에 따라,
Figure pat00058
는 계산되는 장면 조각 쌍들의 개수에 따라 결정된다. 수학식 8에서 첫번째 항은 레이아웃과 한 장면 조각 간 대응점의 거리를 최소화하는 역할을 한다. 이를 위한 거리 척도로써, point-to-plane(선행기술 7)를 이용하며 이는 수학식 9와 같이 정의된다.
Figure pat00059
여기에서, p는 장면 조각에 속하는 3차원 점을, np는 p의 법선 벡터를, q는 레이아웃에 속하는 점을 의미한다. 수학식 8의 두번째 항은 두 장면 조각 간 대응점의 거리를 최소화 시키는 역할을 하며, 위와 동일하게 point-to-plane 척도를 이용해 수학식 10과 같이 정의된다.
Figure pat00060
수학식 8에서 마지막 항은 추정된 변환 행렬이 기존에 계산된 변환 행렬로부터 크게 달라지는 것을 제한하는 항으로 수학식 11과 같이 정의된다.
Figure pat00061
여기에서,
Figure pat00062
는 ICP 알고리즘(선행기술 7)에 의해 추정된 두 장면 조각 간 변환 행렬을 의미하고,
Figure pat00063
는 행렬 요소 값들의 L1-norm 값들의 합을 나타낸다. 수학식 8을 최적화하기 위해 Gauss-Newton 방법이 이용될 수 있다.
레이아웃 추정 문제와 글로벌 정합 문제를 한번에 해결하는 것은 어려운 문제이기 때문에, 본 발명에서는 도 4에 도시된 바와 같이, 두 문제를 번갈아가면서 최적화를 수행한다. 장면 조각(
Figure pat00064
)와 변환 행렬에 대한 초기값(
Figure pat00065
)이 주어지는 것으로 가정하며, 첫 번째 장면 조각의 좌표계를 전역 좌표계로 설정하고, T0는 항등 행렬(identity matrix)로 고정시킨다.
그리고 도 4의 알고리즘에 따라 반복하는 경우 도 5에 도시된 바와 같이, 반복 횟수가 증가할수록 굽어진 실내 복원 결과가 올바르게 펴진 형태로 복원되는 것을 확인할 수 있다.
아래 표는 본 발명에서 제안하는 알고리즘과 기존의 알고리즘의 복원 성능 평가를 비교하는 것이다.
Figure pat00066
표 1에 기재된 바와 같이, 다른 최근의 방법들에 비해 실내를 더 정확하게 복원할 수 있음을 확인할 수 있다. 또한, 가상 데이터를 이용한 정량적 평가에서 수치적으로도 복원 정확도가 향상되었음을 확인할 수 있다.
전술한 본 발명은, 프로그램이 기록된 매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 매체는, 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 매체의 예로는, HDD(Hard Disk Drive), SSD(Solid State Disk), SDD(Silicon Disk Drive), ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있으며, 또한 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다.
따라서, 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.

Claims (4)

  1. 깊이 측정 카메라를 이용해 실내를 촬영한 동영상을 획득하는 단계;
    획득한 동영상을 이용하여 3차원 복원을 위한 초기 데이터를 만드는 단계;
    상기 초기 데이터로부터 레이아웃을 추정하는 단계; 및
    상기 추정된 레이아웃을 활용하여 글로벌 3차원 데이터 정합을 수행하는 단계를 포함하는
    3차원 실내 복원 방법.
  2. 제 1 항에 있어서,
    상기 3차원 복원을 위한 초기 데이터를 만드는 단계는,
    획득한 동영상을 일정 프레임씩 나누어 3차원 복원된 장면 조각들을 만드는 단계, 복원된 장면 조각을 3차원 전역 좌표계에 정합하여 변환 행렬을 획득하는 단계 및 획득한 변환 행렬 보완을 위해 루프 결합을 검출하고 이를 바탕으로 변환 행렬을 최적화하는 단계를 포함하는
    3차원 실내 복원 방법.
  3. 제 1 항에 있어서,
    상기 초기 데이터로부터 레이아웃을 추정하는 단계는,
    실내를 대표하는 대표 평면을 추출하는 단계 및 추정된 대표 평면들로부터 레이아웃 평면을 추정하는 단계를 포함하는
    3차원 실내 복원 방법.
  4. 제 1 항에 있어서,
    상기 추정된 레이아웃을 활용하여 글로벌 3차원 데이터 정합을 수행하는 단계는
    상기 레이아웃 추정과 글로벌 정합을 번갈아가며 일정 횟수 반복하는 단계를 포함하는
    3차원 실내 복원 방법.
KR1020170183212A 2017-12-28 2017-12-28 실내 복원 방법 KR102494552B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170183212A KR102494552B1 (ko) 2017-12-28 2017-12-28 실내 복원 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170183212A KR102494552B1 (ko) 2017-12-28 2017-12-28 실내 복원 방법

Publications (2)

Publication Number Publication Date
KR20190080641A true KR20190080641A (ko) 2019-07-08
KR102494552B1 KR102494552B1 (ko) 2023-02-03

Family

ID=67256836

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170183212A KR102494552B1 (ko) 2017-12-28 2017-12-28 실내 복원 방법

Country Status (1)

Country Link
KR (1) KR102494552B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021104203A1 (en) * 2019-11-27 2021-06-03 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Associating device coordinate systems in a multi-person augmented reality system
KR20210073435A (ko) * 2019-12-10 2021-06-18 한국전자기술연구원 평면 정보를 활용한 깊이 영상 추정 방법 및 시스템

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6196416B1 (ja) * 2016-05-27 2017-09-13 楽天株式会社 ３次元モデル生成システム、３次元モデル生成方法、及びプログラム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6196416B1 (ja) * 2016-05-27 2017-09-13 楽天株式会社 ３次元モデル生成システム、３次元モデル生成方法、及びプログラム

Non-Patent Citations (13)

* Cited by examiner, † Cited by third party
Title
and J. McDonald. Kintinuous: Spatially extended Kinect-Fusion. In RSS Workshop on RGB-D: Advanced Reasoning with Depth Cameras, 2012.
J. A. de Jesus Osuna-Coutino, et. al., "Dominant plane recognition in interior scenes from a single image", 2016 23rd International Conference on Pattern Recognition, 2016.12.04.* *
J. Xiao, A. Owens, and A. Torralba. SUN3D: A database of big spaces reconstructed using sfm and object labels. In ICCV, 2013.
M. Iwanowski. Morphological boundary pixel classification. In International Conference on "Computer as a Tool", 2007.
R. A. Newcombe, S. Izadi, O. Hilliges, D. Molyneaux,D. Kim, A. J. Davison, P. Kohli, J. Shotton, S. Hodges, and A. Fitzgibbon. Kinectfusion: Real-time dense surface mapping and tracking. In ISMAR, 2011.
R. B. Rusu and S. Cousins. 3D is here: Point Cloud Library (PCL). In ICRA, 2011.
R. B. Rusu, N. Blodow, and M. Beetz. Fast point feature histograms (fpfh) for 3d registration. In ICRA, 2009.
S. Choi, Q.-Y. Zhou, and V. Koltun. Robust reconstruction of indoor scenes. In CVPR, 2015.
Sungjoon Choi, et. al., "Robust Reconstruction of Indoor Scenes", 2015 IEEE Conference on Computer Vision and Pattern Recognition, 2015.06.07.* *
T. Whelan, M. Kaess, M. Fallon, H. Johannsson, J. Leonard,
T. Whelan, S. Leutenegger, R. S. Moreno, B. Glocker, and A. Davison. Elasticfusion: Dense slam without a pose graph. In RSS, 2015.
Y. Boykov, O. Veksler, and R. Zabih. Fast approximate energy minimization via graph cuts. TPAMI, 23(11):1222??1239, 2001.
Y. Chen and G. Medioni. Object modeling by registration of multiple range images. Image and Vision Computing, 10(3):145??155, 1992.

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021104203A1 (en) * 2019-11-27 2021-06-03 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Associating device coordinate systems in a multi-person augmented reality system
KR20210073435A (ko) * 2019-12-10 2021-06-18 한국전자기술연구원 평면 정보를 활용한 깊이 영상 추정 방법 및 시스템

Also Published As

Publication number Publication date
KR102494552B1 (ko) 2023-02-03

Similar Documents

Publication Publication Date Title
US10977827B2 (en) Multiview estimation of 6D pose
EP2420975B1 (en) System and method for 3d wireframe reconstruction from video
US8199977B2 (en) System and method for extraction of features from a 3-D point cloud
CN110335234B (zh) 一种基于古文物LiDAR点云的三维变化检测方法
KR101926563B1 (ko) 카메라 추적을 위한 방법 및 장치
EP2573734B1 (en) Systems and methods for evaluating plane similarity
CN107862735B (zh) 一种基于结构信息的rgbd三维场景重建方法
CN101398934A (zh) 对图像中的对象进行定位的方法和系统
Nurunnabi et al. Robust segmentation for multiple planar surface extraction in laser scanning 3D point cloud data
KR20190030456A (ko) 스테레오 매칭 방법 및 장치
Qu et al. Evaluation of SIFT and SURF for vision based localization
US11506755B2 (en) Recording medium recording information processing program, information processing apparatus, and information processing method
KR102494552B1 (ko) 실내 복원 방법
Sung et al. A fast 3D scene reconstructing method using continuous video
Leclerc et al. Measuring the self-consistency of stereo algorithms
Gehrung et al. A fast voxel-based indicator for change detection using low resolution octrees
Ward et al. A model-based approach to recovering the structure of a plant from images
Bokaris et al. 3D reconstruction of indoor scenes using a single RGB-D image
Rastgar Robust self-calibration and fundamental matrix estimation in 3D computer vision
KR101717381B1 (ko) 스테레오 카메라 기반의 주행 가능 영역 추정 장치 및 방법과 이에 관한 기록매체
Mehltretter et al. Illumination invariant dense image matching based on sparse features
Masher Accurately scaled 3-D scene reconstruction using a moving monocular camera and a single-point depth sensor
Cordes et al. Extrinsic calibration of a stereo camera system using a 3d cad model considering the uncertainties of estimated feature points
Ramli et al. Enhancement of Depth Value Approximation for 3D Image-Based Modelling using Noise Filtering and Inverse Perspective Mapping Techniques for Complex Object
OK Rahmat et al. Enhancement of depth value approximation using noise filtering and inverse perspective mapping techniques for image based modelling

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right