KR102206108B1

KR102206108B1 - 체적형 객체 촬영을 위한 다중 rgb-d 카메라 기반의 포인트 클라우드 정합 방법

Info

Publication number: KR102206108B1
Application number: KR1020190116339A
Authority: KR
Inventors: 서영호; 김경진; 박병서
Original assignee: 광운대학교 산학협력단
Priority date: 2019-09-20
Filing date: 2019-09-20
Publication date: 2021-01-21

Abstract

저가의 RGB-D 카메라 다수를 사용하여 전방위 3차원 모델을 생성하기 위하여, 카메라의 위치를 정밀하게 추정하되, 깊이 이미지와 함수 최적화 방식을 이용하여 유효한 범위 내의 오차를 갖는 좌표 변환 파라미터를 구하는 방식으로 추정하는, 체적형 객체 촬영을 위한 다중 RGB-D 카메라 기반의 포인트 클라우드 정합 방법에 관한 것으로서, (a) 깊이 및 색상 영상을 획득하는 단계; (b) 색상 영상에서 차르코 보드 코너를 검출하는 단계; (c) 초기 좌표 변환 파라미터를 연산하는 단계; (d) 차르코 보드 코너의 3차원 좌표를 연산하는 단계; 및, (e) 최적화를 위한 반복 연산 단계를 포함하는 구성을 마련하여, RGB 이미지를 이용하여 적절한 초기 파라미터를 설정하고 차르코 보드(Charuco board)의 내부 코너 좌표를 이용하여 서로 다른 시점의 카메라에 공간상의 같은 위치를 알려줌으로써, 기존의 정합 방법보다 우수한 성능을 보여줄 수 있고, 카메라 사이에 겹치는 공간이 적었음에도 국부 최소화 문제를 극복할 수 있다.

Description

체적형 객체 촬영을 위한 다중 RGB-D 카메라 기반의 포인트 클라우드 정합 방법 { A point cloud registration method based on RGB-D camera for shooting volumetric objects }

본 발명은 저가의 RGB-D 카메라 다수를 사용하여 전방위 3차원 모델을 생성하기 위하여, 카메라의 위치를 정밀하게 추정하되, 깊이 이미지와 함수 최적화 방식을 이용하여 유효한 범위 내의 오차를 갖는 좌표 변환 파라미터를 구하는 방식으로 추정하는, 체적형 객체 촬영을 위한 다중 RGB-D 카메라 기반의 포인트 클라우드 정합 방법에 관한 것이다.

인공지능, 사물인터넷, 빅데이터, 블록체인, 지능형 로봇, 가상현실(Virtual Reality:VR), 증강현실(Augmented Reality: AR), 그리고 혼합현실(Mixed Reality: MR) 기술 등 새롭고 혁신적인 신기술이 이끌어 가고 있는 4차 산업혁명을 맞이하고 있다. 4차 산업 서비스를 위해 가상 및 혼합현실 관련 기술 개발이 필요하다.

가상 및 혼합현실 환경에서는 360도 다시점 체험이 요구되기 때문에 현실 데이터에 기반한 전방위 3차원 모델을 생성하는 것이 필요로 한다. 마이크로소프트 연구팀(Microsoft research team)이 2011년 KinectFusion[비특허문헌 1]을 발표한 이후로 저가의 상용 RGB-D 카메라 여러 대를 사용하여 전방위 3차원 모델을 생성하는 연구가 활발히 진행되고 있다[비특허문헌 2]. 다중 RGB-D 카메라를 이용한 3차원 모델 생성에 앞서 각 카메라에서 획득한 포인트 세트들을 하나의 좌표계로 통합하는 과정이 필요하다[비특허문헌 2]. 이 과정을 포인트 클라우드 정합이라고 한다.

대표적인 포인트 클라우드 정합 알고리즘으로는 ICP(Iterative Closest Point) 알고리즘이 있다[비특허문헌 3]. 이 알고리즘은 입력된 두 포인트 세트 간에 미리 정의된 겹치는 영역에 대해 가장 가까운 거리에 있는 포인트 쌍을 찾고, 반복적인 연산을 통해 이들의 거리를 최소화하는 좌표변환 파라미터를 구하는 방법이다. ICP와 비슷한 방식으로 포인트 세트의 반복적인 연산을 통해 정합하는 SoftAssign 알고리즘[비특허문헌 4]과 다른 변형 알고리즘[비특허문헌 5][비특허문헌 6][비특허문헌 7]들이 연구되었다. 이들은 파라미터의 초깃값, 포인트 클라우드 사이의 오버랩된 부분 등에 많이 의존하며 국부 최소화(local minima)라는 단점을 가지고 있다[비특허문헌 8]. 포인트 세트를 이용한 다른 정합 방식으로 변하지 않는 기하 특성을 이용한 PCA(Principal Component Analysis) 얼라인먼트(alignment), 모달(modal) 그리고 스펙트럼 정합(spectral matching)과 같은 방법들이 있다[비특허문헌 9][비특허문헌 10]. 이 방법들 또한 포인트 세트 구성에 의존적이라는 단점이 있기 때문에[비특허문헌 8] 깊이 값에 노이즈가 많고 각 카메라 사이에 겹치는 부분이 적은 8대의 RGB-D 카메라를 이용한 전방위 모델 생성에 적용하기는 어렵다.

포인트 클라우드 정합을 위한 좌표변환 행렬을 구하는 방식은 포인트 세트에 의존적인 방법이 아닌 일반적으로 Zhang 알고리즘[비특허문헌 11]으로 알려진 특징점을 추출하기 쉬운 체스보드 같은 도구를 촬영한 이미지를 이용한 방식도 있다. 하지만 이 방식은 핀홀 카메라 모델에 기반하여 내부 및 외부 파라미터를 추정하기 때문에 실제 카메라에 적용하게 되면 오차가 생기게 되고[비특허문헌 12], 깊이 카메라 기준이 아닌 RGB 카메라를 이용한 카메라 위치추정 기반의 좌표변환 행렬을 구하는 방식이기 때문에 깊이 카메라의 좌표계를 기준으로 획득한 3차원 형상 정보를 직접 변환하는 데 사용할 수 없다[비특허문헌 2].

따라서 ICP 알고리즘 등과 같이 포인트 클라우드 정합 결과가 초기 파라미터와 포인트 세트 구성에 의존적이라는 문제와 RGB 이미지를 이용한 카메라 자세 추정 방식에서 구한 좌표변환 행렬은 큰 오차를 갖는다는 문제점을 극복하는 기술이 필요하다.

S. Izadi, D. Kim, O. Hilliges, D. Molyneaux, R. Newcombe, P. Kohli, J. Shotton, S. Hodeges, D. Freeman, A. Davison, A. Fitzgibbon, "KinectFusion: Real-Time Dynamic 3D Surface Reconstruction and Interaction Using a Moving Depth Camera" ISMAR, Vol. 11, No. 2011, pp. 127-136, October 2011. S. Choi, S. Park, "Convenient View Calibration of Multiple RGB-D Cameras Using a Spherical Object." KIPS Transactions on Software and Data Engineering, Vol.3 No.8, pp.309-314, 2014. C. Gregory, W. Sang, K. David, "ICP Registration Using Invariant Features.", IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, Vol. 24, No. 1, pp. 90-102, January 2002. S. Gold, A. Rangarajan, C. Lu, S. Pappu, E. Mjolsness, "New algorithms for 2d and 3d point matching: Pose estimation and correspondence." In Pattern Recognition, Journal of KIISE, Vol. 31, pp. 1019??1031, August 1998. S. Granger, X. Pennec. "Multi-scale em-icp: A fast and robust approach for surface registration." In ECCV, pp. 418??432, June 2002. P. David, D. DeMenthon, R. Duraiswami, H. Samet. "Simultaneous pose and correspondence determination using line features." In CVPR, pp. 424??431, June 2003. W. Zhao, D. Nister, S. Hus. "Alignment of continuous video onto 3d point clouds." PAMI, Vol. 27, pp.1305??1318, August 2005. Li, Hongdong, R. Hartley. "The 3D-3D Registration Problem Revisited." 2007 IEEE 11th International Conference on Computer Vision, pp. 1-8, 2007 S. Sclaroff, A. Pentland. "Model matching for correspondence and recognition." In PAMI, June 1995. M. Leordeanu, M. Hebert. "A spectral technique for correspondence problems using pairwise constraints." In ICCV, Vol. 2, pp. 1482?? 1489, 2005 Z. Zhang, "A flexible new technique for camera calibration," IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol.22, No.11, pp.1330-1334, 2000. J. Lee, "Camera calibration and Compensation distortion", Korea robotics society review, Vol. 10 No, 1, pp. 23-29, February 2013 B. Lin, M. Su, P. Cheng, P. Tseng, S. Chen " Temporal and Spatial Denoising of Depth Maps", Sensors 2015 Vol. 15, No. 8, pp.18506-18525, August 2015. J. Digne, C. Franchis, "The Bilateral Filter for Point Clouds", Image Processing on Line Vol. 2017, No. 7, pp.278-287, March 2018. T. Fang, L. A. Piegl. "Delaunay triangulation in three dimensions." IEEE Computer Graphics and Applications, Vol. 15, No. 5, pp. 62-69, September 1995 Open Source Computer Vision [Internet]. Available : https://docs.opencv.org/3.1.0/df/d4a/tutorial_charuco_detection.html P. Rathnayaka, S. Baek, S. Park, "Calibration of a Different Field-of-view Stereo Camera System using an Embedded Checkerboard Pattern", International Conference on Computer Vision Theory and Applications, pp. 294-300, 2017 S. Lee, "Convergence Rate of Optimization Algorithms for a Non-strictly Convex Function", Institute of Control Robotics and Systems, pp. 349-350, May 2019.

본 발명의 목적은 상술한 바와 같은 문제점을 해결하기 위한 것으로, 저가의 RGB-D 카메라 다수를 사용하여 전방위 3차원 모델을 생성하기 위하여, 카메라의 위치를 정밀하게 추정하되, 깊이 이미지와 함수 최적화 방식을 이용하여 유효한 범위 내의 오차를 갖는 좌표 변환 파라미터를 구하는 방식으로 추정하는, 체적형 객체 촬영을 위한 다중 RGB-D 카메라 기반의 포인트 클라우드 정합 방법을 제공하는 것이다.

특히, 본 발명의 목적은 RGB 이미지에서 초기 파라미터를 계산하여 각각의 카메라에서 획득한 포인트 클라우드 중 같은 공간에 위치한 포인트를 이용하여 반복적인 연산을 통해 최적화된 좌표변환 파라미터를 찾는, 체적형 객체 촬영을 위한 다중 RGB-D 카메라 기반의 포인트 클라우드 정합 방법을 제공하는 것이다.

상기 목적을 달성하기 위해 본 발명은 다시점 깊이 및 색상 카메라로부터 획득된 다시점 깊이 및 색상 영상에 대하여 포인트 클라우드를 정합하는, 체적형 객체 촬영을 위한 다중 RGB-D 카메라 기반의 포인트 클라우드 정합 방법에 관한 것으로서, (a) 다수의 깊이 및 색상 카메라로부터 깊이 및 색상 영상을 획득하되, 상기 깊이 및 색상 영상은 각 면에 차르코 보드 패턴이 표시된 다각형 기둥(이하 차르코 보드 기둥)을 촬영한 영상인 단계; (b) 색상 영상에서 차르코 보드 코너를 검출하는 단계; (c) 차르코 보드의 색상 영상을 이용하여, 각 카메라에 대한 색상 영상의 픽셀 좌표계에서 카메라 좌표계로의 변환 관계를 구하고, 각 카메라에 대한 카메라 좌표계에서 월드 좌표계로의 변환 관계를 구하고, 각 카메라의 월드 좌표계로의 변환 관계를 이용하여, 각 카메라에서 기준 카메라로의 좌표 변환 파라미터를 구하여 초기 좌표 변환 파라미터로 설정하는 단계; (d) 각 깊이영상에 대하여 차르코 보드 코너의 3차원 좌표의 포인트 클라우드를 연산하는 단계; 및, (e) 깊이 영상 간에 포인트 클라우드를 정합하고, 정합된 포인트 클라우드의 오차 범위가 최소화 되도록, 좌표 변환 파라미터를 최적화하는 단계를 포함하는 것을 특징으로 한다.

또, 본 발명은 체적형 객체 촬영을 위한 다중 RGB-D 카메라 기반의 포인트 클라우드 정합 방법에 있어서, 상기 (a)단계에서, 상기 차르코 보드 기둥의 2개의 측면이 만나는 모든 모서리 각각에 대하여, 해당 모서리에 인접한 2개의 측면을 모두 촬영하는 적어도 하나의 카메라가 배치되어, 각 카메라에 의해 촬영된 색상 영상 및 깊이 영상을 획득하는 것을 특징으로 한다.

또, 본 발명은 체적형 객체 촬영을 위한 다중 RGB-D 카메라 기반의 포인트 클라우드 정합 방법에 있어서, 상기 (c)단계는, (c1) 각 카메라에 의해 촬영된 차르코 보드의 색상 영상을 이용하여 각 카메라의 내부 파라미터를 찾고, 내부 파라미터를 이용하여 각 카메라에 대한 픽셀 좌표계에서 카메라 좌표계로의 변환 관계를 구하는 단계; (c2) 차르코 보드 기둥을 이용하여 월드 좌표계를 설정하고, 각 카메라에 대하여 카메라 좌표계에서 월드 좌표계로의 변환 관계를 구하는 단계; 및, (c3) 각 카메라에서의 월드 좌표계와의 관계식을 이용하여, 각 카메라에서 기준 카메라로의 초기 좌표 변환 파라미터를 구하는 단계를 포함하는 것을 특징으로 한다.

또, 본 발명은 체적형 객체 촬영을 위한 다중 RGB-D 카메라 기반의 포인트 클라우드 정합 방법에 있어서, 상기 (c2)단계에서, 상기 차르코 보드 기둥의 왼쪽 하단 모서리를 원점으로 두고 가로, 세로축을 각각 x축, y축으로 하고, x축과 y축을 외적한 방향을 z축으로 설정하여, 상기 월드 좌표계를 설정하는 것을 특징으로 한다.

또, 본 발명은 체적형 객체 촬영을 위한 다중 RGB-D 카메라 기반의 포인트 클라우드 정합 방법에 있어서, 상기 (c2)단계에서, 상기 월드좌표계에서 차르코 보드 내부 코너 좌표와, 카메라 좌표계에서 차르코 보드 내부 코너 좌표의 대응관계를 이용하여, 카메라 좌표계에서 월드좌표계로의 변환 관계를 구하는 것을 특징으로 한다.

또, 본 발명은 체적형 객체 촬영을 위한 다중 RGB-D 카메라 기반의 포인트 클라우드 정합 방법에 있어서, 상기 (c3)단계에서, 다음 수식 1에 의하여, 각 카메라(이하 제2 카메라)에서 기준 카메라(제1 카메라)로의 좌표 변환 파라미터인 회전행렬(R_2→1)과 평행이동 행렬(t_2→1)을 구하는 것을 특징으로 한다.

[수식 1]

여기서, R₁과 t₁은 월드 좌표계에서 제1 카메라 좌표계로의 회전 행렬 및, 평행이동 행렬이고, R₂과 t₂은 월드 좌표계에서 제2 카메라 좌표계로의 회전 행렬 및, 평행이동 행렬임.

또, 본 발명은 체적형 객체 촬영을 위한 다중 RGB-D 카메라 기반의 포인트 클라우드 정합 방법에 있어서, 상기 (d)단계에서, 포인트 클라우드를 연산하기 전에 깊이 영상에서 노이즈를 제거하되, 템포럴 필터(temporal filter) 또는 공간 필터(spatial filter)를 적용하여 노이즈를 제거하는 것을 특징으로 한다.

또, 본 발명은 체적형 객체 촬영을 위한 다중 RGB-D 카메라 기반의 포인트 클라우드 정합 방법에 있어서, 상기 (e)단계에서, 최적화를 위해 사용되는 포인트 클라우드는 차르코 보드의 내부 코너 좌표에 해당하는 포인트 클라우드로 선정하는 것을 특징으로 한다.

또, 본 발명은 체적형 객체 촬영을 위한 다중 RGB-D 카메라 기반의 포인트 클라우드 정합 방법에 있어서, 상기 (e)단계에서, 기준 카메라 포인트 클라우드의 실제 좌표(X_ref)와 변환하고자 하는 카메라의 좌표 변환 파라미터에 의한 변환 좌표(X_i')의 유클리드 제곱 거리(Squared Euclidean Distance, SED)의 평균값이 최소화 되도록, 최적화하는 것을 특징으로 한다.

또, 본 발명은 체적형 객체 촬영을 위한 다중 RGB-D 카메라 기반의 포인트 클라우드 정합 방법에 있어서, 상기 (e)단계에서, 다음 수식 2에 의하여, 현재 좌표변환 파라미터 P_n에서 다음 좌표변환 파라미터 P_n+1을 업데이트하여, 최적화를 반복하는 것을 특징으로 한다.

[수식 2]

또, 본 발명은 체적형 객체 촬영을 위한 다중 RGB-D 카메라 기반의 포인트 클라우드 정합 방법에 있어서, 상기 (e)단계에서, 변화량 α(∂f_Error/∂P_n)이 사전에 정해진 임계값보다 작으면 최적화의 반복 과정을 종료하는 것을 특징으로 한다.

또한, 본 발명은 체적형 객체 촬영을 위한 다중 RGB-D 카메라 기반의 포인트 클라우드 정합 방법을 수행하는 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체에 관한 것이다.

상술한 바와 같이, 본 발명에 따른 체적형 객체 촬영을 위한 다중 RGB-D 카메라 기반의 포인트 클라우드 정합 방법에 의하면, RGB 및 깊이 이미지를 모두 정합에 사용함으로써, 기존의 정합 방법보다 우수한 성능을 보여주는 효과가 얻어진다.

또한, 본 발명에 따른 체적형 객체 촬영을 위한 다중 RGB-D 카메라 기반의 포인트 클라우드 정합 방법에 의하면, RGB 이미지를 이용하여 적절한 초기 파라미터를 설정하고 차르코 보드(Charuco board)의 내부 코너좌표를 이용하여 서로 다른 시점의 카메라에 공간상의 같은 위치를 알려줌으로써, 카메라 사이에 겹치는 공간이 적었음에도 국부 최소화 문제를 극복할 수 있는 효과가 얻어진다.

도 1은 본 발명을 실시하기 위한 전체 시스템의 구성을 도시한 도면.
도 2는 본 발명의 일실시예에 따른 3D 포인트 클라우드 촬영 시스템에 대한 예시도로서, (a) 수직, (b) 수평 촬영 각도 및 범위를 예시한 도면.
도 3은 본 발명이 적용될 수 있는 3차원 모델 생성 과정으로서, 실사 기반 3차원 메쉬 모델 시퀀스 생성 과정을 설명하는 흐름도.
도 4는 본 발명의 일실시예에 따른 체적형 객체 촬영을 위한 다중 RGB-D 카메라 기반의 포인트 클라우드 정합 방법을 설명하는 흐름도.
도 5는 본 발명의 일실시예에 따른 카메라 배치에 대한 예시도.
도 6는 본 발명의 일실시예에 따른 (a) 차르코 보드(Charuco board)와, (b) 차르코 보드(Charuco board)를 통해 구한 월드 좌표계에 대한 예시도.
도 7은 본 발명의 실험에 따른 카메라 시스템에 대한 설치 예시도.
도 8은 본 발명의 실험에 따른 각 카메라에서 획득한 포인트 클라우드, 위쪽에 배치된 카메라 중 (a) 앞쪽, (b) 왼쪽, (c) 오른쪽, (d) 뒤쪽, 아래쪽에 배치된 카메라 중 (e) 앞쪽, (f) 왼쪽, (g) 오른쪽, (h) 뒤쪽에 대한 촬영 영상.
도 9은 본 발명의 실험에 따른 반복횟수에 따른 평균 오차 거리에 대한 그래프.
도 10는 본 발명의 실험에 따른 포인트 클라우드의 평균 정합 오차에 대한 표.
도 11은 본 발명의 실험에 따른 최적화 알고리즘 적용 전후의 전방위 포인트 클라우드 모델, 최적화 전 파라미터를 적용한 포인트 클라우드의 (a) 앞쪽, (b) 왼쪽, (c) 뒤쪽, 최적화 후의 파라미터를 적용한 포인트 클라우드의 (d) 앞쪽, (e) 왼쪽, (f) 뒤쪽에 대한 결과 영상.

이하, 본 발명의 실시를 위한 구체적인 내용을 도면에 따라서 설명한다.

또한, 본 발명을 설명하는데 있어서 동일 부분은 동일 부호를 붙이고, 그 반복 설명은 생략한다.

먼저, 본 발명을 실시하기 위한 전체 시스템의 구성의 예들에 대하여 도 1을 참조하여 설명한다.

도 1에서 보는 바와 같이, 본 발명에 따른 체적형 객체 촬영을 위한 다중 RGB-D 카메라 기반의 포인트 클라우드 정합 방법은 RGB-D 카메라 시스템(20)에 의해 촬영된 다시점 깊이 및 색상(RGB 등) 이미지(60)를 입력받아 다시점의 포인트 클라우드를 정합하는 컴퓨터 단말(30) 상의 프로그램 시스템으로 실시될 수 있다. 즉, 포인트 클라우드 정합 방법은 프로그램으로 구성되어 컴퓨터 단말(30)에 설치되어 실행될 수 있다. 컴퓨터 단말(30)에 설치된 프로그램은 하나의 프로그램 시스템(40)과 같이 동작할 수 있다.

한편, 다른 실시예로서, 포인트 클라우드 정합 방법은 프로그램으로 구성되어 범용 컴퓨터에서 동작하는 것 외에 ASIC(주문형 반도체) 등 하나의 전자회로로 구성되어 실시될 수 있다. 또는 다시점 깊이 및 색상 이미지에서 포인트 클라우드를 정합하는 것만을 전용으로 처리하는 전용 컴퓨터 단말(30)로 개발될 수도 있다. 이를 포인트 클라우드 정합 시스템(40)이라 부르기로 한다. 그 외 가능한 다른 형태도 실시될 수 있다.

한편, RGB-D 카메라 시스템(20)은 물체(10)에 대해 서로 다른 시점으로 촬영하는 다수의 RGB-D 카메라(21)로 구성된다.

또한, 각 RGB-D 카메라(21)는 깊이 카메라 및 색상 카메라(또는 RGB 카메라)를 포함한다. 깊이 카메라는 물체(10)의 깊이를 측정하는 카메라로서, 깊이정보를 측정하여 깊이영상 또는 깊이 이미지(61)를 출력한다. 색상 카메라는 통상의 RGB카메라로서, 물체(10)의 색상 영상 또는 색상 이미지(62)를 획득한다.

다시점 RGB-D 카메라(20)에 의해 촬영된 다시점 깊이영상(61) 및 색상영상(62)은 컴퓨터 단말(30)에 직접 입력되어 저장되고, 포인트 클라우드 정합 시스템(40)에 의해 처리된다. 또는, 다시점 깊이영상(61) 및 색상영상(62)은 컴퓨터 단말(30)의 저장매체에 미리 저장되고, 포인트 클라우드 정합 시스템(40)에 의해 저장된 깊이영상(60)을 읽어 입력될 수도 있다.

영상은 시간상으로 연속된 프레임으로 구성된다. 예를 들어, 현재시간 t의 프레임을 현재 프레임이라고 하면, 직전시간 t-1의 프레임은 이전 프레임이라고 하고, t+1의 프레임은 다음 프레임이라고 부르기로 한다. 한편, 각 프레임은 컬러영상(또는 컬러 이미지) 및 깊이영상(또는 깊이정보)을 갖는다.

특히, 다시점 RGB-D 카메라(20)의 개수만큼 물체(10)에 대해 서로 다른 시점으로 촬영하고, 특정 시간 t에서, 카메라 개수만큼의 다시점 깊이 및 색상 영상(61,62)이 획득된다.

한편, 깊이영상(61) 및 색상영상(62)은 시간상으로 연속된 프레임으로 구성된다. 하나의 프레임은 하나의 이미지를 갖는다. 또한, 영상(61,62)은 하나의 프레임(또는 이미지)을 가질 수도 있다. 즉, 영상(61,62)은 하나의 이미지인 경우에도 해당된다.

다시점 깊이영상 및 색상영상에서 다시점 클라우드 포인트를 정합하는 것은, 곧 깊이/색상 프레임(또는 이미지) 각각에서 검출하는 것을 의미하나, 이하에서 특별한 구별의 필요성이 없는 한, 영상이나 이미지의 용어를 혼용하기로 한다.

다음으로, 본 발명의 일실시예에 따른 카메라 시스템(20)에 의한 포인트 클라우드 획득 방법에 대하여 도 2를 참조하여 보다 구체적으로 설명한다.

본 발명의 카메라 시스템(20)은 실사 기반의 3D 모델을 생성하기 위해 깊이 및 RGB 센서를 장착한 다수의 RGB-D 카메라를 사용한다.

일례로서, 전방위 3D 모델을 생성하는 것이 목표이므로, 도 2와 같이, 8대의 RGB-D 카메라를 물체의 여러 시점에 설치할 수 있다. 8대의 RGB-D 카메라의 배치는 물체를 모든 높이에서 촬영하기 위해 위아래에 카메라가 설치된 스탠드 형태의 촬영 장비를 사용하여 구성할 수 있다. 그리고 물체를 모든 방향에서 촬영하기 위해 4세트의 스탠드를 앞, 뒤, 양옆 네 방향에 배치할 수 있다.

도 2는 본 발명의 카메라 시스템(20)의 일례를 도시한 것으로서, 도 2(a)은 수직 방향의 촬영 범위를 나타내고, 도 2(b)은 수평 방향의 촬영 범위를 나타낸다.

한편, 3차원 모델을 생성하기에 앞서 RGB-D 카메라를 통해 촬영되는 깊이 및 RGB 이미지를 이용하여, 깊이 카메라의 좌표계를 따르는 포인트 클라우드를 각 카메라에서 획득한다. 각 카메라에서 획득된 포인트 클라우드들은 정합이 필요하다.

즉, RGB-D 카메라를 사용하여 3차원 모델을 생성할 때 깊이 이미지의 노이즈를 최소화하는 작업이 필요하다. 촬영 전 노이즈를 제거하는 방법으로 깊이 카메라에 필터링을 추가하는 것이다[비특허문헌 13]. 하지만 좋은 품질을 내기 위해 필터링을 강하게 주면 모션블러와 고스트 현상이 생길 수 있고 촬영되는 프레임과 프레임 사이에 지연이 증가하기 때문에 필터링을 통해 원하는 만큼의 노이즈 제거가 어렵다. 따라서 최종 포인트 클라우드에 샘플링 및 스무딩 작업을 추가하여 노이즈를 줄일 수 있다[비특허문헌 14].

다음으로, 본 발명에 따른 방법이 적용될 수 있는, 실사 기반 3차원 메쉬 모델 시퀀스 생성 과정에 대하여 도 3을 참조하여 설명한다. 도 3은 다중 RGB-D 카메라를 이용해 실사 기반의 3차원 메쉬 모델 시퀀스를 얻기 위한 과정을 나타낸다.

도 3에서 보는 바와 같이, 메쉬 모델 시퀀스를 생성하기 위해 먼저 각 카메라에서 깊이 및 RGB 이미지를 촬영하여 포인트 클라우드를 획득한다. 그 다음 각 카메라에서 획득한 포인트 클라우드를 정합을 통해 전방위의 포인트 클라우드를 생성한다. 정합된 모든 프레임의 포인트 클라우드는 샘플링 한 뒤 들로네 삼각분할[비특허문헌 15]과 같은 방식을 이용하여 삼각형 메쉬를 생성하여 저장한다.

다음으로, 본 발명의 일실시예에 따른 체적형 객체 촬영을 위한 다중 RGB-D 카메라 기반의 포인트 클라우드 정합 방법을 도 4를 참조하여 설명한다.

본 발명에 따른 포인트 클라우드 정합 방법은 깊이 및 RGB 이미지 모두를 이용하고, 최종 정합된 모델의 좌표계는 기준으로 설정한 카메라의 좌표계를 따르게 된다. 다수(예를 들어 8대)의 RGB-D 카메라를 이용하여 전방위 3차원 모델을 생성하기 위해 먼저 각 카메라에서 체스보드(또는 차르코 보드)를 촬영한 RGB 이미지 또는 색상 영상을 얻는다. 이 이미지를 이용하여 초기 좌표변환 파라미터를 계산하고 차르코 보드 내부 코너의 픽셀 좌표를 얻는다. 그 다음 깊이 이미지를 이용하여 카메라 마다 포인트 클라우드를 생성한다. 획득한 포인트 클라우드에서 저장해 둔 차르코 보드의 내부 코너 픽셀 좌표의 3차원 좌표들만을 획득하여 반복적인 연산을 통해 이 좌표들 사이의 거리가 최소화가 되는 좌표변환 파라미터를 구한다.

도 4에서 보는 바와 같이, 본 발명에 따른 포인트 클라우드 정합 방법은 깊이 및 색상 영상을 획득하는 단계(S10), 색상 영상에서 차르코 보드 코너를 검출하는 단계(S20), 초기 좌표 변환 파라미터를 연산하는 단계(S30), 깊이 영상에서 노이즈를 제거하는 단계(S40), 차르코 보드 코너의 3차원 좌표를 연산하는 단계(S50), 및, 최적화를 위한 반복 연산 단계(S60)로 구성된다.

먼저, 다시점 RGB-D 카메라 시스템(20)으로부터 다시점 깊이 및 색상 영상을 획득한다(S10). 즉, 다시점 깊이 및 색상 영상은 각기 다른 시점으로 설치된 다수의 RGB-D 카메라(21)로부터 쵤영된 영상이다. 바람직하게는, 색상 영상은 RGB 영상이다. 각 RGB-D 카메라(21)에서 촬영된 깊이 영상과 색상 영상은 동일한 시점에서 촬영된 영상이다.

특히, 다시점 깊이 및 색상 영상은 각 면에 차르코 보드 패턴이 표시된 다각형 기둥이 촬영된 영상이다. 이하에서 다각형 기둥을 차르코 보드 기둥이라 부르기로 한다.

카메라와 차르코 보드 간의 배치는 각 카메라에서 기준 카메라 좌표계로의 관계식을 구하는데 있어 중요하다. 도 5는 차르코 보드에 대한 카메라 4대의 배치를 예시하고 있다. 도 5에서 중앙의 사각형이 각 면에 차루코 보드 패턴이 표시된 사각 기둥을 나타낸다.

도 5에서 보는 바와 같이, 기준(Ref) 카메라의 좌표계를 기준으로 설정하고, 2, 3, 4번 카메라 좌표계에서 기준 카메라 좌표계로의 좌표 변환 관계를 차루코 보드를 이용하여 구해야 한다. 즉, 각 카메라가 기준 카메라와 중복된 월드 좌표계를 가져야 기준 카메라 좌표로의 변환 관계를 구할 수 있다.

따라서 각 면에 차루코 보드 패턴이 새겨진 사각기둥을 이용하여 기준 카메라와 적어도 한 면이 겹치게 촬영되도록 카메라와 사각 기둥(또는 차르코 보드 기둥)을 배치한다.

도 5의 예에서, 4번 카메라 같은 경우에는 기준 카메라와 중복되어 촬영되는 면이 없다. 이 경우, 4번과 2번(또는 4번과 3번) 카메라 좌표로의 변환관계를 구하여, 4번 카메라 좌표를 2번 카메라 좌표로 변환시킨다. 그리고 변환된 2번 카메라좌표에서 기준 카메라 좌표로의 변환 관계를 이용하여 기준카메라 좌표로 변환시킨다.

카메라 대수가 4대 보다 작은 경우, 즉, 카메라 3대를 사용하면 삼각기둥, 2대를 사용하면 평면 판을 이용할 수 있다. 카메라를 4대 보다 더 추가하는 경우, 사각 기둥 형태의 물체를 이용하면 된다. 즉, 기준 카메라와 2번(또는 3번)카메라 사이에 배치된 카메라는 2번 카메라와 마찬가지로 변환 관계를 찾을 수 있다. 또한, 2번 (또는 3번)카메라와 4번 카메라 사이에 배치된 카메라는 4번 카메라와 마찬가지로 2번 카메라 좌표로 변환한 후 기준 카메라로 변환하는 과정을 거치면 된다.

따라서, 차르코 보드 기둥의 2개의 측면이 만나는 모든 모서리 각각에 대하여, 해당 모서리에 인접한 2개의 측면을 모두 촬영하는 적어도 하나의 카메라를 배치한다.

다음으로, 색상 영상에서 차르코 보드 코너(Charuco board corner)를 검출한다(S20). 즉, 차르코 보드(Charuco board) 내부 코너를 검출한다. 검출된 차르코 보드 코너는 월드 좌표와 카메라 좌표의 관계식을 정의하기 위해 사용된다.

다음으로, 초기 좌표변환 파라미터를 연산한다(S30).

초기 좌표변환 파라미터를 구하기 위해 카메라의 내부 및 외부 파라미터를 먼저 계산한다. 카메라의 파라미터는 QR코드와 체스보드를 합쳐서 만든 차르코 보드(Charuco board)를 사용하여 구한다[비특허문헌 16]. 일반 체스보드 패턴만을 이용해서 구할 수도 있지만 QR코드를 이용하면 일반 체스보드를 이용한 방식들 보다 빠르게 보드(board) 내부의 코너 좌표를 찾을 수 있다. 따라서 체스보드가 아닌 차르코 보드를 사용한다[비특허문헌 11][비특허문헌 16].

먼저, 각 카메라(20)에 의해 촬영된 차르코 보드의 색상 영상을 이용하여 각 카메라의 내부 파라미터를 찾고, 각 카메라에 대한 픽셀 좌표계에서 카메라 좌표계로의 변환 관계를 구한다(S31). 즉, 각 카메라별로 변환 관계를 구한다.

즉, 차르코 보드를 이용하여 카메라의 내부 파라미터를 찾으면 픽셀 좌표계(2D)에서 카메라 좌표계(3D)로의 변환 관계를 구한다[비특허문헌 17][비특허문헌 11]. 여기서, 픽셀 좌표계(2D)는 카메라가 촬영한 색상 영상의 평면 좌표계를 말하고, 카메라 좌표계는 카메라를 원점으로 하는 공간 좌표계를 말한다. 카메라의 내부 파라미터는 카메라의 렌즈 시야각, 렌즈와 이미지 센서와의 거리(초점거리) 등 픽셀 좌표계에 영향을 주는 변수들이다. 따라서 카메라의 내부 파라미터를 알면, 색상 영상의 픽셀 좌표계를 카메라 좌표계로 변환할 수 있다.

또한, 변환 관계를 구하면, 픽셀 좌표계에서의 차르코 보드 내부 코너 좌표로부터, 카메라 좌표계에서의 차르코 보드 내부 코너 좌표를 구할 수 있다.

다음으로, 차르코 보드를 이용하여, 카메라 좌표계에서 월드 좌표계로의 변환 관계를 구한다(S32). 월드 좌표계는 카메라가 위치한 공간을 기준으로 한 공간 좌표계이다. 바람직하게는, 차르코 보드 기둥을 기준으로 하는 공간 좌표계로 월드 좌표계를 설정한다. 이 경우에도, 각 카메라별로 변환 관계를 구한다.

카메라 외부 파라미터를 구하기 위해 월드 좌표계를 설정해야 한다. 카메라 외부 파라미터는 카메라의 설치 높이, 방향(팬, 틸트) 등 카메라와 외부 공간과의 기하학적 관계에 관련된 파라미터이다. 월드좌표계는 차르코 보드(Charuco board)의 왼쪽 하단 모서리를 원점으로 두고 가로, 세로축을 각각 x축, y축으로 하고, x축과 y축을 외적한 방향을 z축으로 설정한다.

월드좌표계에서 차르코 보드(Charuco board) 내부 코너 좌표와, 카메라 좌표계에서 차르코 보드(Charuco board) 내부 코너 좌표의 대응관계를 이용하여, 카메라 좌표계에서 월드좌표계로의 변환 행렬을 구한다[비특허문헌 18].

도 6은 차르코 보드(Charuco board)와 그것을 이용하여 얻은 월드좌표계를 나타낸다. 도 6(a)는 차르코 보드(Charuco board)이고 도 6(b)는 차르코 보드(Charuco board)를 이용해서 구한 월드 좌표계를 표시한 이미지이다.

즉, 월드 좌표계를 구한 뒤에 카메라 좌표계에서 월드 좌표계로의 변환 행렬을 구해야 한다[비특허문헌 16]. 수학식 1은 월드 좌표에서 카메라 좌표로의 변환 식을 나타내며 P_W는 월드 좌표를 나타내고 P_C는 카메라 좌표를 나타낸다. R과 t는 카메라 좌표계에서 월드 좌표계로의 변환 행렬이다. 좌표축 변환과 좌표의 변환은 역변환 관계이므로 앞서 구한 R과 t를 이용한 좌표의 변환은 수학식 1과 같다[비특허문헌 17].

[수학식 1]

월드 좌표계를 구하는 과정에서 차르코 보드(Charuco board) 내부 코너의 픽셀 좌표 검출하는데 이때 구한 픽셀 좌표는 저장해 둔다. 서로 다른 카메라에서 같은 차르코 보드(Charuco board)를 촬영하면 같은 월드 좌표계를 얻을 수 있다.

다음으로, 각 카메라에서의 월드 좌표와의 관계식을 이용하여, 각 카메라에서 기준 카메라로의 초기 좌표 변환 파라미터를 구한다(S33).

같은 월드 좌표계를 두 카메라가 공유하게 된다면 두 카메라 좌표계 사이의 변환 관계를 유도할 수 있다. 기준이 되는 카메라 좌표를 P_C1라 하고 변환시킬 카메라 좌표를 P_C2라고 했을 때 수학식 1을 기반으로 정의한 월드 좌표 P_W와 P_C1, P_C2 사이의 관계는 수학식 2 및 수학식 3과 같다.

[수학식 2]

[수학식 3]

여기서, R₁과 t₁은 월드 좌표계에서 제1 카메라(기준 카메라) 좌표계로의 회전 행렬 및, 평행이동 행렬이고, R₂과 t₂은 월드 좌표계에서 제2 카메라(각 카메라) 좌표계로의 회전 행렬 및, 평행이동 행렬이다.

수학식 3을 변환하면 P_C2에서 P_W로의 좌표변환을 수학식 4와 같이 나타낼 수 있다.

[수학식 4]

수학식 4를 수학식 2에 대입하면 P_C1과 P_C2사이의 관계식을 유도할 수 있다. 그 관계식은 수학식 5와 같다.

[수학식 5]

여기서 R₁×R₂ ^-1은 P_C2에서 P_C1으로의 회전행렬(R_2→1)이 되고 -R₁×R₂ ^-1×t₂+t₁은 P_C2에서 P_C1으로의 평행이동 행렬(t_2→1)이 된다.

앞서 수학식 1 내지 수학식 5는 S30에서 언급했던 카메라의 내부 파라미터를 통해 픽셀 좌표계(색상 영상의 픽셀 좌표계)에서 카메라 좌표계로 변환했다는 전제 하에 계산된다. 카메라 외부 파라미터를 통해 카메라 좌표에서 월드좌표로의 변환 관계를 알 수 있다. 따라서 이를 이용하여 제2 카메라 좌표(P_C2)에서 제1 카메라 좌표(P_C1)로의 변환식을 도출하는 과정이 수학식 1 내지 5에 설명되어 있다. 최종 변환 행렬은 카메라 좌표에서 카메라 좌표로의 변환 행렬을 나타내며, 이 행렬을 최초 좌표 변환 파라미터로 설정한다. 이미지 분석을 통해[비특허문헌 16] 차르코 보드의 내부 코너 좌표를 찾을 수 있고, 각 코너는 고유한 인덱스를 갖고 있다. 따라서 다른 위치에서 촬영된 두 영상에서 실제 공간상에 동일하게 위치한 코너들을 이 인덱스를 통해 매칭시킬 수 있다.

다음으로, 깊이 영상에서 노이즈(또는 잡음)을 제거한다(S40).

즉, 필터링을 통해, 깊이 영상에서 노이즈를 삭제하여 줄인다.

깊이 영상은 RGB-D카메라(20)에서 색상영상이 사각 기둥(또는 차르코 보드 기둥)을 촬영할 때 동시에 촬영된 깊이 영상을 말한다. 또한, 깊이 영상은 사각기둥의 3차원 정보를 갖고 있다.

깊이 영상에서 노이즈를 제거하는 방법은 촬영 시 템포럴 필터(temporal filter) 또는 공간 필터(spatial filter)[비특허문헌 13]를 적용하여 줄일 수 있고, 촬영후 샘플링 또는 스무딩 작업을 통해 제거할 수 있다[비특허문헌 14].

다음으로, 깊이 영상에서 차르코 보드 코너의 3차원 좌표(3D 좌표) 또는 포인트 클라우드를 연산한다(S50).

차르코 보드 코너의 3차원 좌표란 앞서 구한 차르코 보드 내부 코너(체스 셀의 모서리)의 3차원 공간상의 좌표이다. 이 좌표는 깊이 영상을 통해 생성된 포인트 클라우드 중 차르코 보드 내부 코너의 픽셀 좌표와 매칭되는 3차원 좌표이다.

다음으로, 최적화를 위해 반복 연산을 수행한다(S60).

앞서 구한 좌표변환 행렬을 통해 포인트 클라우드 정합을 하게 되면 정합된 포인트는 센티미터 단위의 큰 오차를 가지게 된다. 이 포인트 클라우드는 굉장히 좋지 않은 품질을 갖는다. 따라서 이 오차를 최소화하기 위한 최적화 단계를 추가한다.

바람직하게는, 최적화 문제를 풀기 위해 경사 하강법을 사용한다. 최적화 문제를 풀기 위한 방법으로는 경사 하강법(gradient descent) 방법, 관성 하강법(gradient descent with momentum), 네스테로프 하강법(Nesterov's gradient method)[비특허문헌 18] 등이 있다. 본 발명은 구하고자 하는 파라미터의 수가 많지 않고 초기 파라미터가 정답 근방에 설정되기 때문에 가장 계산비용이 적고 구현이 쉬운 경사 하강법을 사용한다.

파라미터 최적화를 위해 사용되는 좌표는 차르코 보드(Charuco board)의 내부 코너 좌표이다. 좌표변환행렬에는 x, y, z 축 각각의 회전각과 평행이동 값, 총 6개의 파라미터가 포함되어 있고 이 파라미터들은 기준 카메라로의 좌표변환을 나타낸다. X_ref는 기준 카메라 좌표를 나타내고 X_i는 나머지 카메라의 좌표를 나타낸다. R_i→ref와 t_i→ref은 각각 수학식 2~5를 이용하여 구한 기준 카메라 좌표로의 회전변환 행렬과 평행이동 행렬을 나타낸다. 좌표변환행렬을 적용한다 하더라도 기준 카메라 좌표와 완전히 동일하지 않은 근방의 좌표(X_i')로 변환된다. X_i'로 변환 관계는 수학식 6과 같다.

[수학식 6]

최적화를 진행할 오차 함수는 X_ref와 X_i'의 유클리드 제곱 거리(Squared Euclidean Distance, SED)의 평균값이다. 수학식 7은 오차 함수를 나타낸다.

[수학식 7]

이 함수를 좌표변환 파라미터에 대해 미분하여 함숫값이 최소가 되는 방향으로 파라미터를 갱신해 나가는 과정을 수학식 8과 같이 나타낼 수 있다. α는 학습률을 나타내는 상수로 사전에 설정되는 상수이다. 바람직하게는, α는 0.001로 설정한다. N은 정합된 포인트 클라우드의 전체 개수를 나타냄.

[수학식 8]

여기서, α는 사전에 설정된 상수이고, P는 좌표변환 파라미터 R, t를 의미하고, P_n은 현재 계산된 좌표변환 파라미터의 값, 그리고 P_n+1은 수학식 8에 의해 보정될 좌표변환 파라미터 값이다.

∂f_Error/∂P_n는 수학식 7을 좌표변환 파라미터로 편미분하는 것을 의미한다. 수학식 7에 수학식 6번에 관한 항이 들어있으며 6번의 R,t가 P값을 의미하므로 편미분이 가능하다. f_Error는 오차함수로서, 수학식 8과 같이 구할 수 있다.

특히, 앞서 단계(S50)에서 구한 3차원 좌표들을 수학식 6과 같이 기준 카메라 좌표 근방으로 변환한다. 수학식 7을 통해 현재 변환된 좌표의 오차를 얻을 수 있으므로 수학식 8을 이용하여 오차가 줄어드는 방향으로 파라미터를 업데이트한다.

이 과정을 반복하여 유클리드 제곱 거리가 최소가 되는 최종 좌표변환 파라미터를 얻는다.

즉, R_i→ref와 t_i→ref은 RGB 이미지에 내부 파라미터를 통해 2차원 좌표인 픽셀 좌표계에서 3차원 좌표인 카메라 좌표계로의 변환[비특허문헌 11] 후 수학식 1~5를 이용하여 얻은 3차원 좌표변환 행렬이기 때문에 3차원 좌표에 적용 가능한 행렬이다.

최적화 연산은 RGB영상에서 얻은 내부 코너의 좌표와 일치하는 3차원 공간상의 좌표를 이용하여 계산된다. 따라서 SED의 차이는 깊이 차이가 아닌 제1 카메라의 좌표와 좌표변환 행렬을 적용한 제2 카메라의 좌표의 유클리드 제곱 거리를 나타낸다. f_Error은 수학식 7을 나타내고 Pn은 R_i→ref와 t_i→ref 즉, 좌표변환 파라미터를 나타낸다.

여기서 최적화의 의미는 f_Error가 최소화 되는 방향으로 좌표변환 파라미터의 업데이트를 진행하는 것을 의미한다. f_Error가 최소화 되는 방향은 수학식 8의 변화량 α(∂f_Error/∂P_n)과 같이 미분을 통해 구할 수 있다.

f_Error가 최소화 되었다는 판단은 깊이 영상의 노이즈 때문에 3차원 좌표상의 위치의 정확성이 모두 다르기 때문에 변화량을 가지고 판단한다. 반복연산을 진행하며 변화량 값 α(∂f_Error/∂P_n)이 사전에 정해진 임계값(예를 들어, 0.00000000001)보다 작으면 종료된다. 임계값은 연산량과 파라미터의 정확성의 트레이드 오프(trade-off) 관계에서 실험적으로 가장 적절한 값을 찾아 설정한다.

다음으로, 본 발명의 효과를 실험을 통해 설명한다.

본 실험에서 사용한 8대의 RGB-D 카메라 배치는 도 2에서 설명한 촬영 시스템을 따른다. 8대 중 4대는 물체의 밑 부분을 촬영할 수 있도록 지면에서 0.7m 되는 높이에 설치되었고 나머지 4대는 물체의 윗부분을 촬영할 수 있도록 지면에서 1.7m 되는 높이에 설치되었다. 깊이 값에 임계값을 설정하여 0.1m에서 1.5m내의 물체에 대한 포인트 클라우드를 획득할 수 있도록 하였다. 도 7은 실제 구성한 카메라 시스템을 촬영한 것이다.

촬영 환경이 준비되면 3차원 모델로 만들 물체를 촬영한다. 8대의 RGB-D 카메라는 각 카메라의 깊이 카메라 좌표계를 따르는 포인트 클라우드를 평균적으로 초당 20 프레임 정도 출력한다. 도 8은 정합 전 각 카메라에서 획득한 포인트 클라우드이다. 도 8(a), (b), (c), (d)는 위에 배치된 카메라 중 각각 앞쪽, 왼쪽, 오른쪽, 뒤쪽의 카메라로 촬영한 포인트 클라우드이고 도 8(e), (f), (g), (h)는 아래 배치된 카메라로 촬영한 포인트 클라우드이다.

파라미터의 오차는 차르코 보드(Charuco board)의 내부코너 좌표의 유클리드 거리를 통해 판단하였다. 연산은 전의 오차와 0.0000000001의 차이를 가질 때까지 반복했다. 카메라마다 다르긴 했지만, 평균적으로 연산을 100번 정도 반복할 때까지는 빠르게 값이 줄어들다가 그 이후로는 점점 0에 수렴되는 것을 실험을 통해 확인하였다. 반복횟수는 50,000회에서 200,000회까지 카메라마다 다른 값을 가졌다. 도 9은 반복횟수에 따른 평균 오차 거리를 그래프로 나타낸 것이다.

카메라 1을 기준 카메라로 설정했기 때문에, 최종 모델 좌표계는 카메라 1의 깊이 카메라의 좌표계를 따른다. 최적화 전의 파라미터로 정합했을 때 평균적으로 59cm의 오차를 가지고 있었지만, 최적화 알고리즘을 적용하게 되면 평균 3mm의 오차를 가진다. 도 10의 표는 최적화 전후의 포인트 클라우드 정합 오차값을 비교한 표이다.

초기 좌표변환 파라미터를 이용하여 포인트 클라우드 정합을 하게 되면 각 포인트 세트들이 x축으로 특히 더 틀어진 결과를 보인다. 이는 RGB-D 카메라에서 RGB 카메라와 깊이 카메라는 수평 방향으로 떨어져 있어서 RGB 카메라 좌표계에 기반하여 구한 초기 파라미터로 3차원 모델을 변환하면 x축으로의 오차가 특히 크게 되는 것이다. 본 실험에서는 3차원 좌표를 좌표변환 파라미터 계산에 사용하여 이 문제를 극복하였다.

도 11은 최적화 알고리즘 적용 전후의 다시점 RGB-D 카메라에서 획득한 포인트 클라우드를 정합한 결과에 대한 그림이다. 도 11은 본 실험에서 구한 좌표변환 파라미터를 이용하여 정합한 결과이다. 도 11(a), (b), (c)는 각각 초기 파라미터를 이용하여 정합한 포인트 클라우드의 앞쪽, 왼쪽, 뒤쪽이다. 도 11(d), (e), (f)는 최적화 알고리즘을 적용한 파라미터로 정합한 포인트 클라우드의 앞쪽, 왼쪽, 뒤쪽이다.

본 발명에서는 다시점 RGB-D 카메라를 이용해 전방위 3차원 모델을 생성하기 위해 필수적인 포인트 클라우드 정합 알고리즘을 제안하였다. RGB 및 깊이 이미지를 모두 정합에 사용함으로써 앞서 언급했던 기존의 정합 알고리즘에 대한 문제점을 극복할 수 있었다. 초기 파라미터를 이용한 정합 결과는 평균 587mm의 오차를 가졌지만, 최적화 알고리즘을 적용한 후엔 2.9mm의 오차를 갖는 전방위 포인트 클라우드 모델을 생성할 수 있었다. 이것은 최적화 전보다 약 200배 향상된 정합 결과이다. 또한, RGB 이미지를 이용하여 적절한 초기 파라미터를 설정하고 차르코 보드(Charuco board)의 내부 코너좌표를 이용하여 서로 다른 시점의 카메라에 공간상의 같은 위치를 알려주었기 때문에 카메라 사이에 겹치는 공간이 적었음에도 국부 최소화 문제를 극복할 수 있었다.

이상, 본 발명자에 의해서 이루어진 발명을 상기 실시 예에 따라 구체적으로 설명하였지만, 본 발명은 상기 실시 예에 한정되는 것은 아니고, 그 요지를 이탈하지 않는 범위에서 여러 가지로 변경 가능한 것은 물론이다.

10 : 영상 20 : 컴퓨터 단말
30 : 프로그램 시스템

Claims

다시점 깊이 및 색상 카메라로부터 획득된 다시점 깊이 및 색상 영상에 대하여 포인트 클라우드를 정합하는, 체적형 객체 촬영을 위한 다중 RGB-D 카메라 기반의 포인트 클라우드 정합 방법에 있어서,
(a) 다수의 깊이 및 색상 카메라로부터 깊이 및 색상 영상을 획득하되, 상기 깊이 및 색상 영상은 각 면에 차르코 보드 패턴이 표시된 다각형 기둥(이하 차르코 보드 기둥)을 촬영한 영상인 단계;
(b) 색상 영상에서 차르코 보드 코너를 검출하는 단계;
(c) 차르코 보드의 색상 영상을 이용하여, 각 카메라에 대한 색상 영상의 픽셀 좌표계에서 카메라 좌표계로의 변환 관계를 구하고, 각 카메라에 대한 카메라 좌표계에서 월드 좌표계로의 변환 관계를 구하고, 각 카메라의 월드 좌표계로의 변환 관계를 이용하여, 각 카메라에서 기준 카메라로의 좌표 변환 파라미터를 구하여 초기 좌표 변환 파라미터로 설정하는 단계;
(d) 각 깊이영상에 대하여 차르코 보드 코너의 3차원 좌표의 포인트 클라우드를 연산하는 단계; 및,
(e) 깊이 영상 간에 포인트 클라우드를 정합하고, 정합된 포인트 클라우드의 오차 범위가 최소화 되도록, 좌표 변환 파라미터를 최적화하는 단계를 포함하는 것을 특징으로 하는 체적형 객체 촬영을 위한 다중 RGB-D 카메라 기반의 포인트 클라우드 정합 방법.
제1항에 있어서,
상기 (a)단계에서, 상기 차르코 보드 기둥의 2개의 측면이 만나는 모든 모서리 각각에 대하여, 해당 모서리에 인접한 2개의 측면을 모두 촬영하는 적어도 하나의 카메라가 배치되어, 각 카메라에 의해 촬영된 색상 영상 및 깊이 영상을 획득하는 것을 특징으로 하는 체적형 객체 촬영을 위한 다중 RGB-D 카메라 기반의 포인트 클라우드 정합 방법.
제1항에 있어서, 상기 (c)단계는,
(c1) 각 카메라에 의해 촬영된 차르코 보드의 색상 영상을 이용하여 각 카메라의 내부 파라미터를 찾고, 내부 파라미터를 이용하여 각 카메라에 대한 픽셀 좌표계에서 카메라 좌표계로의 변환 관계를 구하는 단계;
(c2) 차르코 보드 기둥을 이용하여 월드 좌표계를 설정하고, 각 카메라에 대하여 카메라 좌표계에서 월드 좌표계로의 변환 관계를 구하는 단계; 및,
(c3) 각 카메라의 해당 카메라 좌표계에서 월드 좌표계로의 변환 관계를 나타내는 관계식을 이용하여, 각 카메라에서 기준 카메라로의 초기 좌표 변환 파라미터를 구하는 단계를 포함하는 것을 특징으로 하는 체적형 객체 촬영을 위한 다중 RGB-D 카메라 기반의 포인트 클라우드 정합 방법.
제3항에 있어서,
상기 (c2)단계에서, 상기 차르코 보드 기둥의 왼쪽 하단 모서리를 원점으로 두고 가로, 세로축을 각각 x축, y축으로 하고, x축과 y축을 외적한 방향을 z축으로 설정하여, 상기 월드 좌표계를 설정하는 것을 특징으로 하는 체적형 객체 촬영을 위한 다중 RGB-D 카메라 기반의 포인트 클라우드 정합 방법.
제3항에 있어서,
상기 (c2)단계에서, 상기 월드좌표계에서 차르코 보드 내부 코너 좌표와, 카메라 좌표계에서 차르코 보드 내부 코너 좌표의 대응관계를 이용하여, 카메라 좌표계에서 월드좌표계로의 변환 관계를 구하는 것을 특징으로 하는 체적형 객체 촬영을 위한 다중 RGB-D 카메라 기반의 포인트 클라우드 정합 방법.
제3항에 있어서,
상기 (c3)단계에서, 다음 수식 1에 의하여, 각 카메라(이하 제2 카메라)에서 기준 카메라(제1 카메라)로의 좌표 변환 파라미터인 회전행렬(R_2→1)과 평행이동 행렬(t_2→1)을 구하는 것을 특징으로 하는 체적형 객체 촬영을 위한 다중 RGB-D 카메라 기반의 포인트 클라우드 정합 방법.
[수식 1]

여기서, R₁과 t₁은 월드 좌표계에서 제1 카메라 좌표계로의 회전 행렬 및, 평행이동 행렬이고, R₂과 t₂은 월드 좌표계에서 제2 카메라 좌표계로의 회전 행렬 및, 평행이동 행렬임.
제3항에 있어서,
상기 (d)단계에서, 포인트 클라우드를 연산하기 전에 깊이 영상에서 노이즈를 제거하되, 템포럴 필터(temporal filter) 또는 공간 필터(spatial filter)를 적용하여 노이즈를 제거하는 것을 특징으로 하는 체적형 객체 촬영을 위한 다중 RGB-D 카메라 기반의 포인트 클라우드 정합 방법.
제1항에 있어서,
상기 (e)단계에서, 최적화를 위해 사용되는 포인트 클라우드는 차르코 보드의 내부 코너 좌표에 해당하는 포인트 클라우드로 선정하는 것을 특징으로 하는 체적형 객체 촬영을 위한 다중 RGB-D 카메라 기반의 포인트 클라우드 정합 방법.
제1항에 있어서,
상기 (e)단계에서, 기준 카메라 포인트 클라우드의 실제 좌표(X_ref)와 변환하고자 하는 카메라의 좌표 변환 파라미터에 의한 변환 좌표(X_i')의 유클리드 제곱 거리(Squared Euclidean Distance, SED)의 평균값이 최소화 되도록, 최적화하는 것을 특징으로 하는 체적형 객체 촬영을 위한 다중 RGB-D 카메라 기반의 포인트 클라우드 정합 방법.
제9항에 있어서,
상기 (e)단계에서, 다음 수식 2에 의하여, 현재 좌표변환 파라미터 P_n에서 다음 좌표변환 파라미터 P_n+1을 업데이트하여, 최적화를 반복하는 것을 특징으로 하는 체적형 객체 촬영을 위한 다중 RGB-D 카메라 기반의 포인트 클라우드 정합 방법.
[수식 2]

여기서, α는 사전에 설정된 상수이고, P는 좌표변환 파라미터 R, t를 의미하고, P_n은 현재 계산된 좌표변환 파라미터의 값, 그리고 P_n+1은 보정될 좌표변환 파라미터 값이고, ∂f_Error/∂P_n 는 f_Error를 좌표변환 파라미터로 편미분하는 것을 의미하고, f_Error는 오차 함수임.
제10항에 있어서,
상기 (e)단계에서, 변화량 α(∂f_Error/∂P_n)이 사전에 정해진 임계값보다 작으면 최적화의 반복 과정을 종료하는 것을 특징으로 하는 체적형 객체 촬영을 위한 다중 RGB-D 카메라 기반의 포인트 클라우드 정합 방법.
제1항 내지 제11항 중 어느 한 항의 체적형 객체 촬영을 위한 다중 RGB-D 카메라 기반의 포인트 클라우드 정합 방법을 수행하는 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.