KR20220085693A

KR20220085693A - A multi-view camera-based iterative calibration method for the generation of a 3D volume model

Info

Publication number: KR20220085693A
Application number: KR1020210057081A
Authority: KR
Inventors: 서영호; 박병서
Original assignee: 광운대학교 산학협력단
Priority date: 2020-12-15
Filing date: 2021-05-03
Publication date: 2022-06-22
Also published as: KR102533909B1

Abstract

다수의 프레임들에 대해, 수직 방향으로 인접한 카메라들 사이의 캘리브레이션(calibration)을 수행하고, 수평 방향으로 인접한 시점들의 결과들과 회전하면서 캘리브레이션을 수행하고, 각 카메라 쌍들 사이에 가상 시점을 생성하여 캘리브레이션을 반복하는, 3차원 체적 모델의 생성을 위한 다시점 카메라 기반의 반복적 캘리브레이션 방법에 관한 것으로서, (a) 다시점의 색상-깊이 영상(이하 샘플 영상)을 입력받는 단계; (b) 각 샘플 영상을 포인트 클라우드(이하 각 시점의 포인트 클라우드)로 변환하는 단계; (c) 수직 방향으로 인접한 시점들의 포인트 클라우드(이하 탑-바텀 포인트 클라우드)에 대해 캘리브레이션(이하 탑-바텀 캘리브레이션)을 수행하여 변환 파라미터를 최적화 하고, 상기 탑-바텀 포인트 클라우드를 정합하는 단계; (d) 수평 방향으로 인접한 시점들의 탑-바텀 정합된 포인트 클라우드들에 대해 캘리브레이션(이하 라운드 캘리브레이션)을 수행하여 변환 파라미터를 최적화 하는 단계; 및, (e) 적어도 2개 시점의 탑-바텀 포인트 클라우드 일부를 합쳐서 가상 시점의 포인트 클라우드를 생성하고, 상기 가상 시점과 인접한 시점에 대해 캘리브레이션(이하 가상시점 캘리브레이션)을 수행하여 변환 파라미터를 최적화 하는 단계를 포함하는 구성을 마련한다.
상기와 같은 방법에 의하여, 다수 개의 저가의 상용 색상-깊이(RGB-D) 카메라들을 이용하여 다양한 시점의 영상을 획득하고, 이들 영상의 캘리브레이션을 다양한 시점에 수행함으로써, 캘리브레이션의 정확도를 높일 수 있고, 이를 통해, 고품질의 실사 그래픽스 체적 모델을 생성할 수 있다.For a plurality of frames, calibration is performed between cameras adjacent in a vertical direction, calibration is performed while rotating with results of viewpoints adjacent in a horizontal direction, and a virtual viewpoint is generated between each pair of cameras to perform calibration. A multi-view camera-based iterative calibration method for generating a three-dimensional volume model, comprising: (a) receiving a multi-view color-depth image (hereinafter, a sample image); (b) converting each sample image into a point cloud (hereinafter, a point cloud of each viewpoint); (c) optimizing a conversion parameter by performing calibration (hereinafter, referred to as top-bottom calibration) on point clouds (hereinafter, referred to as top-bottom point clouds) of viewpoints adjacent in the vertical direction, and matching the top-bottom point clouds; (d) optimizing a transformation parameter by performing calibration (hereinafter, round calibration) on top-bottom matched point clouds of adjacent viewpoints in the horizontal direction; and, (e) generating a point cloud of a virtual viewpoint by merging some of the top-bottom point clouds of at least two viewpoints, and performing calibration (hereinafter, virtual viewpoint calibration) for viewpoints adjacent to the virtual viewpoint to optimize conversion parameters Create a configuration that includes steps.
By the above method, images of various viewpoints are acquired using a plurality of inexpensive commercial color-depth (RGB-D) cameras, and calibration of these images is performed at various viewpoints, thereby increasing the accuracy of calibration, , through which it is possible to create a high-quality photorealistic graphics volume model.

Description

{ A multi-view camera-based iterative calibration method for the generation of a 3D volume model }

본 발명은 한정된 공간에 분산하여 위치한 다수 개의 저가의 상용 색상-깊이(RGB-D) 카메라들을 이용하여 고품질의 실사 그래픽스 체적 모델을 생성하기 위하여, 각 카메라의 영상을 정합하는, 3차원 체적 모델의 생성을 위한 다시점 카메라 기반의 반복적 캘리브레이션 방법에 관한 것이다.The present invention provides a three-dimensional volume model that matches the images of each camera in order to generate a high-quality photorealistic graphics volume model using a plurality of low-cost commercial color-depth (RGB-D) cameras dispersedly located in a limited space. It relates to a multi-view camera-based iterative calibration method for generation.

또한, 본 발명은 다수의 프레임들에 대해, 수직 방향으로 인접한 카메라들 사이의 캘리브레이션(calibration)을 수행하고, 수평 방향으로 인접한 시점들의 결과들과 회전하면서 캘리브레이션을 수행하고, 각 카메라 쌍들 사이에 가상 시점을 생성하여 캘리브레이션을 반복하는, 3차원 체적 모델의 생성을 위한 다시점 카메라 기반의 반복적 캘리브레이션 방법에 관한 것이다.In addition, the present invention performs calibration (calibration) between adjacent cameras in a vertical direction for a plurality of frames, performs calibration while rotating with results of adjacent viewpoints in a horizontal direction, and performs virtual operation between each pair of cameras. The present invention relates to a multi-viewpoint camera-based iterative calibration method for generating a three-dimensional volume model in which a viewpoint is generated and calibration is repeated.

일반적으로, 3차원 그래픽스 기술과 실사 기술이 혼합된 가상현실(Virtual Reality, VR), 증강현실(Augmented Reality, AR), 혼합현실(Mixed Reality, MR), 그리고 확장현실(Extended Reality, XR) 기술에서 실사 객체를 정확히 추출하는 기술은 매우 중요하다. 실사 객체를 획득하기 위해서는 다수의 RGB 카메라만을 사용할 수도 있고, 깊이 정보를 직접 획득하는 센서를 사용할 수도 있다. 깊이 정보를 획득하는 것은 매우 효율적인 방식이지만, 아직까지 깊이 센서 성능이 완전하지 않기 때문에, 이를 보완하기 위한 많은 연구가 필요하다.In general, virtual reality (VR), augmented reality (AR), mixed reality (MR), and extended reality (XR) technologies in which 3D graphics technology and live-action technology are mixed It is very important to accurately extract the actual object from In order to acquire a live-action object, only a plurality of RGB cameras may be used, or a sensor that directly acquires depth information may be used. Acquiring depth information is a very efficient method, but since the performance of the depth sensor is not yet perfect, a lot of research is needed to supplement it.

마이크로소프트 연구팀이 2011년 KinectFusion[비특허문헌 1]을 발표한 이후로 저가의 상용 RGB-D 카메라 여러 대를 사용하여 전방위 3차원 모델을 생성하는 연구가 활발히 진행되고 있다[비특허문헌 2]. 다중 RGB-D 카메라를 이용한 3차원 모델 생성에 앞서 각 카메라에서 획득한 객체의 포인트 클라우드(point cloud)들을 하나의 좌표계로 통합하는 과정이 필요하다[비특허문헌 2]. 이 과정을 포인트 클라우드 정합이라고 한다.Since the Microsoft research team announced KinectFusion [Non-Patent Document 1] in 2011, research on generating an omnidirectional 3D model using several inexpensive commercial RGB-D cameras has been actively conducted [Non-Patent Document 2]. Prior to generating a three-dimensional model using multiple RGB-D cameras, a process of integrating point clouds of objects obtained from each camera into one coordinate system is required [Non-Patent Document 2]. This process is called point cloud matching.

가장 잘 알려진 포인트 클라우드 정합 알고리즘으로는 ICP(Iterative Closest Point) 알고리즘이 있다[비특허문헌 3]. ICP는 입력된 두 포인트 세트 간에 미리 정의된 겹치는 영역에 대해 가장 가까운 거리에 있는 포인트 쌍을 찾고, 반복적인 연산을 통해 이들의 거리를 최소화하는 좌표변환 파라미터를 구하는 방법이다. ICP와 비슷한 방식으로 포인트 세트의 반복적인 연산을 통해 정합하는 소프트어사인(SoftAssign) 알고리즘[비특허문헌 4]과 이에 기반한 다양한 변형 알고리즘[비특허문헌 5][비특허문헌 6][비특허문헌 7]들이 연구되었다[비특허문헌 8]. 이 연구들은 파라미터의 초깃값, 포인트 클라우드 사이의 겹침 영역의 크기 등에 많이 의존하며 국부 최소화(local minima)라는 단점을 갖는다[비특허문헌 8].As the most well-known point cloud matching algorithm, there is an Iterative Closest Point (ICP) algorithm [Non-Patent Document 3]. ICP is a method of finding a point pair that is the closest to a predefined overlapping area between two input point sets, and obtaining a coordinate transformation parameter that minimizes their distance through iterative operation. SoftAssign algorithm [Non-Patent Document 4] and various transformation algorithms based on it [Non-Patent Document 5] [Non-Patent Document 6] [Non-Patent Document 7] were studied [Non-Patent Document 8]. These studies depend a lot on the initial values of parameters and the size of the overlapping area between point clouds, and have a disadvantage of local minima [Non-Patent Document 8].

포인트 세트를 이용한 다른 정합 방식으로 특정 기하학 특성을 이용한 PCA(Principal Component Analysis) 정렬, 모달(modal) 그리고 스펙트럼 정합(spectral matching)과 같은 방법들이 연구되어 왔다[비특허문헌 9][비특허문헌 10]. 이 방법들 또한 포인트 세트가 어떻게 구성되어 있느냐에 의존을 하는 단점이 있기 때문에[비특허문헌 8] RGB-D 카메라로부터 획득된 깊이 값에 잡음이 많고 각 카메라 사이에 겹치는 영역이 적은 시스템에서는 적용하기는 어렵다. As another matching method using a point set, methods such as PCA (Principal Component Analysis) alignment, modal, and spectral matching using specific geometric characteristics have been studied [Non-Patent Document 9] [Non-Patent Document 10] ]. Since these methods also have the disadvantage of being dependent on how the point set is configured [Non-Patent Document 8], the depth value obtained from the RGB-D camera has a lot of noise and is not applicable in a system with a small overlapping area between each camera. is difficult

프인트 클라우드 정합을 위해서는 각 카메라들의 좌표를 변환해야 한다. 포인트 클라우드 정합을 위한 좌표변환 행렬을 구하는 방식은 다양한 방법이 연구되어 왔다[비특허문헌 11][비특허문헌 12]. 많이 사용되는 좌표변환 행렬 추출 기법으로 장(Zhang) 알고리즘[비특허문헌 11]이 있다. 이 알고리즘은 포인트 세트에 의존하지 않고, 특징점을 추출하기 쉬운 체스보드 등을 이용한다. 하지만 이 방식은 핀홀 카메라 모델에 기반하여 내부 및 외부 파라미터를 추정하기 때문에 실제 카메라에 적용하게 되면 필연적으로 오차가 발생하게 된다[비특허문헌 12]. 또한 깊이 카메라 기준이 아닌 RGB 카메라를 이용한 카메라 위치추정기반의 좌표변환 행렬을 구하는 방식이기 때문에 깊이 카메라의 좌표계를 기준으로 획득한 3차원 형상 정보를 직접 변환하는 데 사용할 수 없다[비특허문헌 2].For point cloud registration, the coordinates of each camera must be transformed. Various methods have been studied for a method of obtaining a coordinate transformation matrix for point cloud matching [Non-Patent Document 11] [Non-Patent Document 12]. The Zhang algorithm [Non-Patent Document 11] is a widely used coordinate transformation matrix extraction technique. This algorithm does not depend on a set of points, and uses a chess board that is easy to extract feature points. However, since this method estimates internal and external parameters based on the pinhole camera model, errors inevitably occur when applied to an actual camera [Non-Patent Document 12]. In addition, since it is a method of obtaining a coordinate transformation matrix based on camera position estimation using an RGB camera rather than a depth camera standard, it cannot be used to directly transform the 3D shape information obtained based on the coordinate system of the depth camera [Non-Patent Document 2] .

ICP 알고리즘 등과 같이 포인트 클라우드 정합 결과가 초기 파라미터와 포인트 세트 구성에 의존적이라는 문제와 RGB 이미지를 이용한 카메라 자세 추정 방식에서 구한 좌표변환 행렬은 큰 오차를 갖는다는 문제점을 극복하기 위해 RGB 이미지에서 초기 파라미터를 계산하여 각각의 카메라에서 획득한 포인트 클라우드 중 같은 공간에 위치한 포인트를 이용하여 반복적인 연산을 통해 최적화된 좌표변환 파라미터를 찾는 알고리즘이 연구되었다[비특허문헌 13]. 본 발명에서는 [비특허문헌 13]에서 제안한 방식을 개선하여 초기파라미터를 계산하지 않으면서 차르코 보드와 같은 특정 방식에 제한되지 않는 수정된 함수 최적화 기법을 제안한다. 이를 통해서 연산의 복잡도와 연산량을 줄이면서도 좋은 품질의 3D 모델을 생성할 수 있음을 보인다. In order to overcome the problem that the point cloud matching result depends on the initial parameters and point set configuration, such as the ICP algorithm, and the problem that the coordinate transformation matrix obtained from the camera posture estimation method using the RGB image has a large error, the initial parameters are selected from the RGB image. An algorithm for finding an optimized coordinate transformation parameter through repeated calculations using points located in the same space among the point clouds obtained from each camera by calculation was studied [Non-Patent Document 13]. In the present invention, by improving the method proposed in [Non-Patent Document 13], a modified function optimization method that is not limited to a specific method such as a Charcoal board is proposed without calculating the initial parameters. This shows that it is possible to create a 3D model of good quality while reducing the complexity and amount of computation.

본 발명은 다음과 같이 구성된다. 2장에서는 3차원 모델을 생성하기 위한 카메라 시스템과 실사 3차원 모델을 제작하는 과정을 소개하고 3장에서는 제안하는 포인트 클라우드 정합 알고리즘을 소개한다. 4장에서는 실험을 통해 측정한 정합 오차와 분석 결과를 보이고 5장에서 본 발명을 마무리한다. The present invention is constituted as follows. Chapter 2 introduces the camera system for creating a 3D model and the process of creating a realistic 3D model, and Chapter 3 introduces the proposed point cloud matching algorithm. Chapter 4 shows the matching error measured through experiments and analysis results, and Chapter 5 concludes the present invention.

F. Basso, E. Menegatti and A. Pretto, "Robust Intrinsic and Extrinsic Calibration of RGB-D Cameras," in IEEE Transactions on Robotics, vol. 34, no. 5, pp. 1315-1332, Oct. 2018, doi: 10.1109/TRO.2018.2853742. F. Basso, E. Menegatti and A. Pretto, "Robust Intrinsic and Extrinsic Calibration of RGB-D Cameras," in IEEE Transactions on Robotics, vol. 34, no. 5, pp. 1315-1332, Oct. 2018, doi: 10.1109/TRO.2018.2853742. G. Chen, G. Cui, Z. Jin, F. Wu and X. Chen, "Accurate Intrinsic and Extrinsic Calibration of RGB-D Cameras With GP-Based Depth Correction," in IEEE Sensors Journal, vol. 19, no. 7, pp. 2685-2694, 1 April1, 2019, doi: 10.1109/JSEN.2018.2889805. G. Chen, G. Cui, Z. Jin, F. Wu and X. Chen, "Accurate Intrinsic and Extrinsic Calibration of RGB-D Cameras With GP-Based Depth Correction," in IEEE Sensors Journal, vol. 19, no. 7, pp. 2685-2694, 1 April 1, 2019, doi: 10.1109/JSEN.2018.2889805.

본 발명의 목적은 상술한 바와 같은 문제점을 해결하기 위한 것으로, 한정된 공간에 분산하여 위치한 다수 개의 저가의 상용 색상-깊이(RGB-D) 카메라들을 이용하여 고품질의 실사 그래픽스 체적 모델을 생성하기 위하여, 각 카메라의 영상을 정합하는, 3차원 체적 모델의 생성을 위한 다시점 카메라 기반의 반복적 캘리브레이션 방법을 제공하는 것이다.It is an object of the present invention to solve the above problems, and to generate a high-quality photorealistic graphics volume model using a plurality of inexpensive commercial color-depth (RGB-D) cameras distributed in a limited space, An object of the present invention is to provide a multi-view camera-based iterative calibration method for generating a three-dimensional volume model that matches the images of each camera.

또한, 본 발명의 목적은 다수의 프레임들에 대해, 수직 방향으로 인접한 카메라들 사이의 캘리브레이션(calibration)을 수행하고, 수평 방향으로 인접한 시점들의 결과들과 회전하면서 캘리브레이션을 수행하고, 각 카메라 쌍들 사이에 가상 시점을 생성하여 캘리브레이션을 반복하는, 3차원 체적 모델의 생성을 위한 다시점 카메라 기반의 반복적 캘리브레이션 방법을 제공하는 것이다.In addition, an object of the present invention is to perform calibration between adjacent cameras in a vertical direction for a plurality of frames, perform calibration while rotating with results of adjacent viewpoints in a horizontal direction, and perform calibration between each pair of cameras An object of the present invention is to provide a multi-view camera-based iterative calibration method for generating a three-dimensional volume model in which a virtual viewpoint is generated and calibration is repeated.

또한, 본 발명의 목적은 두 카메라의 색상(RGB) 영상으로부터 획득된 특징점의 3차원 좌표들 사이의 오차 함수를 최소화시키는 방식을 이용하여 캘리브레이션(calibration)을 수행하고, 오차값을 수렴시키는 외부 파라미터(extrinsic parameter)가 구해지면 캘리브레이션(calibration)을 종료하는, 3차원 체적 모델의 생성을 위한 다시점 카메라 기반의 반복적 캘리브레이션 방법을 제공하는 것이다.In addition, an object of the present invention is to perform calibration using a method of minimizing the error function between the three-dimensional coordinates of the feature points obtained from the color (RGB) images of the two cameras, and to converge the error values with external parameters To provide a multi-view camera-based iterative calibration method for generating a three-dimensional volume model that terminates calibration when (extrinsic parameter) is found.

상기 목적을 달성하기 위해 본 발명은 3차원 체적 모델의 생성을 위한 다시점 카메라 기반의 반복적 캘리브레이션 방법에 관한 것으로서, (a) 다시점의 색상-깊이 영상(이하 샘플 영상)을 입력받는 단계; (b) 각 샘플 영상을 포인트 클라우드(이하 각 시점의 포인트 클라우드)로 변환하는 단계; (c) 수직 방향으로 인접한 시점들의 포인트 클라우드(이하 탑-바텀 포인트 클라우드)에 대해 캘리브레이션(이하 탑-바텀 캘리브레이션)을 수행하여 변환 파라미터를 최적화 하고, 상기 탑-바텀 포인트 클라우드를 정합하는 단계; (d) 수평 방향으로 인접한 시점들의 탑-바텀 정합된 포인트 클라우드들에 대해 캘리브레이션(이하 라운드 캘리브레이션)을 수행하여 변환 파라미터를 최적화 하는 단계; 및, (e) 적어도 2개 시점의 탑-바텀 포인트 클라우드 일부를 합쳐서 가상 시점의 포인트 클라우드를 생성하고, 상기 가상 시점과 인접한 시점에 대해 캘리브레이션(이하 가상시점 캘리브레이션)을 수행하여 변환 파라미터를 최적화 하는 단계를 포함하는 것을 특징으로 한다.In order to achieve the above object, the present invention relates to a multi-view camera-based iterative calibration method for generating a three-dimensional volume model, comprising the steps of: (a) receiving a multi-view color-depth image (hereinafter, a sample image); (b) converting each sample image into a point cloud (hereinafter, a point cloud of each viewpoint); (c) optimizing a conversion parameter by performing calibration (hereinafter, referred to as top-bottom calibration) on point clouds (hereinafter, referred to as top-bottom point clouds) of viewpoints adjacent in the vertical direction, and matching the top-bottom point clouds; (d) optimizing a transformation parameter by performing calibration (hereinafter, round calibration) on top-bottom matched point clouds of adjacent viewpoints in the horizontal direction; and, (e) generating a point cloud of a virtual viewpoint by merging some of the top-bottom point clouds of at least two viewpoints, and performing calibration (hereinafter, virtual viewpoint calibration) for viewpoints adjacent to the virtual viewpoint to optimize conversion parameters It is characterized in that it comprises a step.

또, 본 발명은 3차원 체적 모델의 생성을 위한 다시점 카메라 기반의 반복적 캘리브레이션 방법에 있어서, 상기 (a)단계에서, 상기 다시점의 샘플 영상은 적어도 2개의 수평층을 이루는 적어도 4개의 색상-깊이 카메라에 의해 촬영된 각 시점의 색상-깊이 영상들로 구성되고, 각 층의 샘플 영상의 개수는 동일한 것을 특징으로 한다.In addition, the present invention provides a multi-view camera-based iterative calibration method for generating a three-dimensional volume model, wherein in step (a), the multi-view sample image has at least four colors forming at least two horizontal layers. It is composed of color-depth images of each view taken by the depth camera, and the number of sample images in each layer is the same.

또, 본 발명은 3차원 체적 모델의 생성을 위한 다시점 카메라 기반의 반복적 캘리브레이션 방법에 있어서, 상기 (c)단계에서, 수평 방향의 모든 시점 각각에서, 수직 방향으로 인접한 시점들의 포인트 클라우드들에 대해 캘리브레이션을 수행하여 변환 파라미터를 최적화 하고, 수직 방향의 인접한 시점들 중 하나의 시점의 좌표계(이하 탑바텀 기준 좌표계)로 수직 방향으로 인접한 시점들의 포인트 클라우드들을 정합하여 합쳐서 탑-바텀 정합된 포인트 클라우드를 생성하고, 각 수직 방향의 인접한 시점들 중에서 탑-바텀 기준 좌표계의 시점은 동일한 수평층의 시점으로 설정하는 것을 특징으로 한다.In addition, the present invention provides a multi-view camera-based iterative calibration method for generating a three-dimensional volume model, in the step (c), for point clouds of vertically adjacent viewpoints at each viewpoint in the horizontal direction, Calibration is performed to optimize the transformation parameters, and the point clouds of the vertically adjacent viewpoints are matched with the coordinate system of one of the vertically adjacent viewpoints (hereinafter, the top-bottom reference coordinate system) to obtain a top-bottom matched point cloud. and, among the adjacent viewpoints in each vertical direction, the viewpoint of the top-bottom reference coordinate system is set as the viewpoint of the same horizontal layer.

또, 본 발명은 3차원 체적 모델의 생성을 위한 다시점 카메라 기반의 반복적 캘리브레이션 방법에 있어서, 상기 (d)단계에서, 인접한 2개의 탑바텀 정합된 포인트 클라우드의 쌍들 각각에 대하여, 변환 파라미터를 최적화 하되, 상기 탑바텀 정합된 포인트 클라우드의 탑바텀 기준 좌표계에 의한 변환 파라미터를 최적화 하는 것을 특징으로 한다.In addition, the present invention is a multi-view camera-based iterative calibration method for generating a three-dimensional volume model, in the step (d), for each pair of two adjacent top-bottom matched point clouds, the transformation parameter is optimized However, it is characterized in that the transformation parameter is optimized by the top-bottom reference coordinate system of the top-bottom matched point cloud.

또, 본 발명은 3차원 체적 모델의 생성을 위한 다시점 카메라 기반의 반복적 캘리브레이션 방법에 있어서, 상기 (e)단계에서, 상기 가상시점 캘리브레이션을 수행할 때, 수평 방향의 각 시점에서, 해당 시점의 인접한 양측 2개 시점의 탑-바텀 포인트 클라우드 일부를 해당 시점의 좌표계로 변환하여 합쳐서, 가상 시점의 포인트 클라우드를 생성하고, 상기 가상 시점의 포인트 클라우드와, 상기 가상 시점의 인접한 양측 2개 시점의 탑-바텀 포인트 클라우드 각각에 대해 캘리브레이션을 수행하는 것을 특징으로 한다.In addition, the present invention provides a multi-view camera-based iterative calibration method for generating a three-dimensional volume model, in the step (e), when performing the virtual viewpoint calibration, at each viewpoint in the horizontal direction, the A part of the top-bottom point clouds of the two adjacent viewpoints are converted into the coordinate system of the corresponding viewpoint and merged to generate a point cloud of the virtual viewpoint, and the point cloud of the virtual viewpoint and the top of the two adjacent viewpoints of the virtual viewpoint - It is characterized in that calibration is performed for each of the bottom point clouds.

또, 본 발명은 3차원 체적 모델의 생성을 위한 다시점 카메라 기반의 반복적 캘리브레이션 방법에 있어서, 상기 (d)단계에서, 상기 라운드 캘리브레이션을 위해 사용하는 탑바텀 정합된 포인트 클라우드들을 다수의 프레임에서 랜덤하게 추출하되, 각 시점의 샘플 영상의 연속된 프레임들의 탑바텀 정합된 포인트 클라우드 중에서 랜덤하게 1개를 추출하여, 해당 시점의 탐바텀 정합된 포인트 클라우드로 추출하는 것을 특징으로 한다.In addition, the present invention provides a multi-view camera-based iterative calibration method for generating a three-dimensional volume model. In step (d), the top-bottom matched point clouds used for the round calibration are randomly selected from a plurality of frames. However, it is characterized in that by randomly extracting one of the top-bottom matched point clouds of successive frames of the sample image at each point of view, and extracting it as a point cloud matched with the top-bottom of the corresponding point of view.

또, 본 발명은 3차원 체적 모델의 생성을 위한 다시점 카메라 기반의 반복적 캘리브레이션 방법에 있어서, 상기 방법은, (f) 다수의 프레임에서 랜덤하게 프레임을 선택하여, 선택된 프레임의 탐바텀 정합된 포인트 클라우드에 대해 상기 (d) 단계 및 (e) 단계를 수행하는 것을 반복하는 단계를 더 포함하는 것을 특징으로 한다.In addition, the present invention provides a multi-view camera-based iterative calibration method for generating a three-dimensional volume model, the method comprising: (f) randomly selecting a frame from a plurality of frames, and selecting a tambottom-matched point of the selected frame The method further comprising repeating the steps (d) and (e) for the cloud.

또, 본 발명은 3차원 체적 모델의 생성을 위한 다시점 카메라 기반의 반복적 캘리브레이션 방법에 있어서, 상기 (c), (d), (d)단계에서 각각 탑-바텀 캘리브레이션, 라운드 캘리브레이션, 가상시점 캘리브레이션을 수행할 때, 2개 시점 중 하나를 기준 좌표계로 설정하고, 상기 변환 파라미터를 기준 좌표계로의 회전변환 행렬, 평행이동 행렬, 및, 스케일링 팩터로 구성하는 것을 특징으로 한다.In addition, the present invention provides a multi-view camera-based iterative calibration method for generating a three-dimensional volume model, in the steps (c), (d), and (d), top-bottom calibration, round calibration, and virtual view calibration, respectively. When performing , one of the two viewpoints is set as a reference coordinate system, and the transformation parameter is configured with a rotation transformation matrix to the reference coordinate system, a translation matrix, and a scaling factor.

또, 본 발명은 3차원 체적 모델의 생성을 위한 다시점 카메라 기반의 반복적 캘리브레이션 방법에 있어서, 상기 탑-바텀 캘리브레이션, 라운드 캘리브레이션, 가상시점 캘리브레이션을 수행할 때, 기준 좌표계의 포인트 클라우드의 실제 좌표(X_ref)와 상기 변환 파라미터에 의한 변환 좌표(X_i')의 오차가 최소화 되도록, 상기 변환 파라미터를 최적화하는 것을 특징으로 한다.In addition, the present invention provides a multi-view camera-based iterative calibration method for generating a three-dimensional volume model. When performing the top-bottom calibration, round calibration, and virtual view calibration, the actual coordinates of the point cloud It is characterized in that the transformation parameter is optimized so that an error between X _ref ) and the transformation coordinate (X _i ') by the transformation parameter is minimized.

또, 본 발명은 3차원 체적 모델의 생성을 위한 다시점 카메라 기반의 반복적 캘리브레이션 방법에 있어서, 상기 방법은, (g) 상기 (c), (d), (d)단계를 반복하되, 모든 캘리브레이션의 최적화 함수의 오차 크기와 변화량을 평가하여 반복을 종료하는 단계를 더 포함하는 것을 특징으로 한다.In addition, the present invention provides a multi-view camera-based iterative calibration method for generating a three-dimensional volume model, (g) repeating steps (c), (d), (d), but all calibrations It characterized in that it further comprises the step of terminating the iteration by evaluating the error size and amount of change of the optimization function of .

또, 본 발명은 3차원 체적 모델의 생성을 위한 다시점 카메라 기반의 반복적 캘리브레이션 방법에 있어서, 상기 (g)단계에서, 모든 캘리브레이션의 최적화 함수의 오차가 사전에 정해진 범위 이내이고, 사전에 정해진 횟수만큼 추가적으로 반복하더라도 오차가 줄어드는 변화량이 사전에 정해진 임계 변화량 보다 작으면, 종료하는 것을 특징으로 한다.In addition, the present invention provides a multi-view camera-based iterative calibration method for generating a three-dimensional volume model. In the step (g), the errors of the optimization functions of all calibrations are within a predetermined range, and the predetermined number of times Even if it is repeated as much as additionally, if the amount of change in which the error is reduced is smaller than the predetermined threshold amount of change, it is characterized in that it is terminated.

또, 본 발명은 3차원 체적 모델의 생성을 위한 다시점 카메라 기반의 반복적 캘리브레이션 방법에 있어서, 상기 탑-바텀 캘리브레이션, 라운드 캘리브레이션, 가상시점 캘리브레이션을 수행할 때, 다음 수식 1에 의하여, 현재 좌표변환 파라미터 P_n에서 다음 좌표변환 파라미터 P_n+1을 업데이트하여, 최적화를 반복하는 것을 특징으로 한다.In addition, the present invention provides a multi-view camera-based iterative calibration method for generating a three-dimensional volume model, when the top-bottom calibration, round calibration, and virtual view calibration are performed, the current coordinate is converted by the following Equation 1 It is characterized in that by updating the next coordinate transformation parameter P _n ₊₁ in the parameter P n, the optimization is repeated.

[수식 1][Formula 1]

여기서, α는 사전에 설정된 상수이고, P는 변환 파라미터 회전변환 행렬 R, 평행이동 행렬 t, 및, 스케일링 팩터 S를 의미하고, P_n은 현재 계산된 변환 파라미터의 값, 그리고 P_n+1은 보정될 좌표변환 파라미터 값이고, ∂f_Error/∂P_n 는 f_Error를 변환 파라미터로 편미분하는 것을 의미하고, f_Error는 기준 좌표계의 포인트 클라우드의 실제 좌표(X_ref)와 변환 파라미터에 의한 변환 좌표(X_i')의 오차 함수임.Here, α is a preset constant, P denotes a transformation parameter rotation transformation matrix R, a translation matrix t, and a scaling factor S, P _n is the value of the currently calculated transformation parameter, and P _n+1 is The coordinate transformation parameter value to be corrected, ∂f _Error /∂P _n means partial differentiation of f _Error as a transformation parameter, and f _Error is the actual coordinate (X _ref ) of the point cloud of the reference coordinate system and transformation coordinates by the transformation parameter. The error function of (X _i ').

또한, 본 발명은 3차원 체적 모델의 생성을 위한 다시점 카메라 기반의 반복적 캘리브레이션 방법을 수행하는 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체에 관한 것이다.In addition, the present invention relates to a computer-readable recording medium in which a program for performing a multi-view camera-based iterative calibration method for generating a three-dimensional volume model is recorded.

상술한 바와 같이, 본 발명에 따른 3차원 체적 모델의 생성을 위한 다시점 카메라 기반의 반복적 캘리브레이션 방법에 의하면, 다수 개의 저가의 상용 색상-깊이(RGB-D) 카메라들을 이용하여 다양한 시점의 영상을 획득하고, 이들 영상의 캘리브레이션을 다양한 시점에 수행함으로써, 캘리브레이션의 정확도를 높일 수 있고, 이를 통해, 고품질의 실사 그래픽스 체적 모델을 생성할 수 있는 효과가 얻어진다.As described above, according to the multi-view camera-based iterative calibration method for generating a three-dimensional volume model according to the present invention, images from various viewpoints are captured using a plurality of inexpensive commercial color-depth (RGB-D) cameras. Accuracy of calibration can be increased by acquiring and performing calibration of these images at various points in time, and through this, an effect of generating a high-quality photorealistic graphics volume model is obtained.

도 1은 본 발명을 실시하기 위한 전체 시스템의 구성을 도시한 도면.
도 2는 본 발명의 일실시예에 따른 포인트 클라우드 기반의 실사 3D 체적 모델의 스캔을 위한 분산 카메라 시스템의 구성도로서, (a) 위에서 바라본 방향 및 (b) 측면 방향에서의 촬영 각도 및 범위를 나타낸 구성도.
도 3은 본 발명의 일실시예에 따른 색상-깊이(RGB-D) 분산 카메라 네트워크를 이용한 실사 3D 체적 모델의 생성을 위한 전 과정을 설명하는 흐름도.
도 4는 본 발명의 일실시예에 따른 3차원 체적 모델의 생성을 위한 다시점 카메라 기반의 반복적 캘리브레이션 방법을 설명하는 흐름도.
도 5는 본 발명의 일실시예에 따른 3D 차르코 보드 및 특징점의 그라운드 트루쓰(ground truth)로서, (a) 차르코 보드, (b) 3차원 차르코 보드의 특징점 좌표, (c) 위에서 바라본 특징점 좌표에 대한 예시도.
도 6은 본 발명의 일실시예에 따른 탑바텀 캘리브레이션(Top-Bottom calibration) 방식을 도식화한 도면.
도 7은 본 발명의 일실시예에 따른 임시 라운드 캘리브레이션(Temporal Round calibration) 방식들 도식화 한 도면으로서, 시점 간의 최적화 이후에 가상 시점을 이용한 최적화를 수행한 예시 도면.1 is a diagram showing the configuration of an entire system for implementing the present invention.
2 is a configuration diagram of a distributed camera system for scanning a point cloud-based photorealistic 3D volumetric model according to an embodiment of the present invention, (a) a direction viewed from above and (b) a photographing angle and range in the lateral direction. configuration diagram shown.
3 is a flowchart illustrating the entire process for generating a photorealistic 3D volume model using a color-depth (RGB-D) distributed camera network according to an embodiment of the present invention.
4 is a flowchart illustrating an iterative calibration method based on a multi-viewpoint camera for generating a three-dimensional volume model according to an embodiment of the present invention.
5 is a ground truth of a 3D Charco board and a feature point according to an embodiment of the present invention, (a) a Charco board, (b) a feature point coordinate of a three-dimensional Charco board, (c) from above An example diagram of the coordinates of the feature point viewed.
6 is a diagram schematically illustrating a Top-Bottom calibration method according to an embodiment of the present invention.
7 is a diagram schematically illustrating temporary round calibration methods according to an embodiment of the present invention, and is an exemplary view in which optimization using virtual viewpoints is performed after optimization between viewpoints.

이하, 본 발명의 실시를 위한 구체적인 내용을 도면에 따라서 설명한다.Hereinafter, specific contents for carrying out the present invention will be described with reference to the drawings.

또한, 본 발명을 설명하는데 있어서 동일 부분은 동일 부호를 붙이고, 그 반복 설명은 생략한다.In addition, in demonstrating this invention, the same part is attached|subjected by the same code|symbol, and the repetition description is abbreviate|omitted.

먼저, 본 발명을 실시하기 위한 전체 시스템의 구성의 예들에 대하여 도 1을 참조하여 설명한다.First, examples of the configuration of the entire system for implementing the present invention will be described with reference to FIG. 1 .

도 1에서 보는 바와 같이, 본 발명에 따른 3차원 체적 모델의 생성을 위한 다시점 카메라 기반의 반복적 캘리브레이션 방법은 분산 카메라 시스템(20)에 의해 촬영된 다시점 깊이 및 색상(RGB 등) 이미지(60)를 입력받아 다시점의 포인트 클라우드를 정합하는 컴퓨터 단말(30) 상의 프로그램 시스템으로 실시될 수 있다. 즉, 포인트 클라우드 정합을 위한 캘리브레이션 방법은 프로그램으로 구성되어 컴퓨터 단말(30)에 설치되어 실행될 수 있다. 컴퓨터 단말(30)에 설치된 프로그램은 하나의 프로그램 시스템(40)과 같이 동작할 수 있다.As shown in FIG. 1 , the multi-view camera-based iterative calibration method for generating a three-dimensional volume model according to the present invention is a multi-viewpoint depth and color (RGB, etc.) image (60 ) may be input and implemented as a program system on the computer terminal 30 for matching the point cloud of multiple viewpoints. That is, the calibration method for point cloud matching may be configured as a program and installed in the computer terminal 30 to be executed. A program installed in the computer terminal 30 may operate as one program system 40 .

한편, 다른 실시예로서, 캘리브레이션 방법은 프로그램으로 구성되어 범용 컴퓨터에서 동작하는 것 외에 ASIC(주문형 반도체) 등 하나의 전자회로로 구성되어 실시될 수 있다. 또는 다시점 깊이 및 색상 이미지에서 포인트 클라우드를 정합하는 것만을 전용으로 처리하는 전용 컴퓨터 단말(30)로 개발될 수도 있다. 이를 포인트 클라우드 정합 시스템(40)이라 부르기로 한다. 그 외 가능한 다른 형태도 실시될 수 있다.Meanwhile, as another embodiment, the calibration method may be implemented with one electronic circuit such as an ASIC (application specific semiconductor) in addition to being configured as a program and operated in a general-purpose computer. Alternatively, it may be developed as a dedicated computer terminal 30 that exclusively processes only matching point clouds in multi-view depth and color images. This will be referred to as a point cloud matching system 40 . Other possible forms may also be implemented.

한편, 분산 카메라 시스템(20)은 객체(10)에 대해 서로 다른 시점으로 촬영하는 다수의 색상-깊이(RGB-D) 카메라(21)로 구성된다.On the other hand, the distributed camera system 20 is composed of a plurality of color-depth (RGB-D) cameras 21 that take pictures of the object 10 from different viewpoints.

또한, 각 RGB-D 카메라(21)는 색상 정보 및 깊이 정보를 측정하여 색상 및 깊이 영상(또는 RGB-D 영상)을 획득하는 카메라이다. 바람직하게는, RGB-D 카메라(21)는 키넥트(kinect) 카메라이다. RGB-D 카메라(21)를 통해, 색상 및 깊이 영상은 2차원 픽셀들로 구성되고, 각 픽셀은 색상 값 및 깊이 값을 갖는다.In addition, each RGB-D camera 21 is a camera that obtains a color and depth image (or RGB-D image) by measuring color information and depth information. Preferably, the RGB-D camera 21 is a kinect camera. Through the RGB-D camera 21, a color and depth image is composed of two-dimensional pixels, and each pixel has a color value and a depth value.

RGB-D 카메라(21)에 의해 촬영된 다시점 색상-깊이 영상(60)은 컴퓨터 단말(30)에 직접 입력되어 저장되고, 포인트 클라우드 정합 시스템(40)에 의해 처리된다. 또는, 다시점 색상-깊이 영상(60)은 컴퓨터 단말(30)의 저장매체에 미리 저장되고, 포인트 클라우드 정합 시스템(40)에 의해 저장된 색상-깊이 영상(60)을 읽어 입력될 수도 있다.The multi-viewpoint color-depth image 60 photographed by the RGB-D camera 21 is directly input to the computer terminal 30 and stored, and is processed by the point cloud matching system 40 . Alternatively, the multi-view color-depth image 60 may be previously stored in the storage medium of the computer terminal 30 , and may be input by reading the color-depth image 60 stored by the point cloud matching system 40 .

영상은 시간상으로 연속된 프레임으로 구성된다. 예를 들어, 현재시간 t의 프레임을 현재 프레임이라고 하면, 직전시간 t-1의 프레임은 이전 프레임이라고 하고, t+1의 프레임은 다음 프레임이라고 부르기로 한다. 한편, 각 프레임은 컬러영상(또는 컬러 이미지) 및 깊이영상(또는 깊이정보)을 갖는다.An image is made up of consecutive frames in time. For example, if the frame at the current time t is called the current frame, the frame at the immediately preceding time t-1 is called the previous frame, and the frame at t+1 is called the next frame. Meanwhile, each frame has a color image (or color image) and a depth image (or depth information).

특히, RGB-D 카메라(21)의 개수만큼 객체(10)에 대해 서로 다른 시점으로 촬영하고, 특정 시간 t에서, 카메라 개수만큼의 다시점 깊이 및 색상 영상(60)이 획득된다.In particular, as many RGB-D cameras 21 as the number of objects 10 are photographed from different viewpoints, and at a specific time t, multi-view depth and color images 60 as many as the number of cameras are acquired.

한편, 색상-깊이 영상(60)은 시간상으로 연속된 프레임으로 구성된다. 하나의 프레임은 하나의 이미지를 갖는다. 또한, 영상(60)은 하나의 프레임(또는 이미지)을 가질 수도 있다. 즉, 영상(60)은 하나의 이미지인 경우에도 해당된다.On the other hand, the color-depth image 60 is composed of consecutive frames in time. One frame has one image. Also, the image 60 may have one frame (or image). That is, the image 60 corresponds to a single image.

다시점 색상-깊이 영상에서 다시점 클라우드 포인트를 정합하는 것은, 곧 깊이/색상 프레임(또는 이미지) 각각에서 검출하는 것을 의미하나, 이하에서 특별한 구별의 필요성이 없는 한, 영상이나 이미지의 용어를 혼용하기로 한다.Matching multi-view cloud points in a multi-view color-depth image means detecting each of the depth/color frames (or images). decide to do

다음으로, 본 발명의 일실시예에 따른 분산 카메라 시스템(Distributed Camera System)(20)의 구성에 대하여 도 2를 참조하여 설명한다.Next, a configuration of a distributed camera system 20 according to an embodiment of the present invention will be described with reference to FIG. 2 .

분산 카메라 네트워크는 일정한 공간 내에 임의의 위치에 다수 개의 카메라를 위치시키고, 객체를 스캐닝하는 시스템을 의미한다.A distributed camera network refers to a system in which a plurality of cameras are located at arbitrary positions in a certain space and an object is scanned.

특히, 분산 카메라 시스템(20)은 수평 방향으로 적어도 4개의 지점(시점)에서 객체를 향하는 카메라를 설치하고, 각 지점(시점)에서 수직 방향(위아래 방향)으로 적어도 2대의 카메라를 이격되도록 설치한다. 즉, 분산 카메라 시스템(20)은 적어도 4대의 카메라가 하나의 수평층을 이루고, 적어도 2개의 수평층을 갖는다. 모든 카메라가 정확한 위치에 설치될 필요는 없고, 대략적으로 유사한 위치에 설치될 수 있다.In particular, the distributed camera system 20 installs cameras facing the object at at least four points (viewpoints) in the horizontal direction, and installs at least two cameras to be spaced apart from each other in the vertical direction (up and down directions) at each point (viewpoint). . That is, in the distributed camera system 20, at least four cameras form one horizontal layer and have at least two horizontal layers. Not all cameras need to be installed at exact locations, and may be installed at approximately similar locations.

일례로서, 실사 3D 체적 모델을 생성하기 위해서 한정된 공간 내에 8대의 카메라를 설치하는 방식으로 분산 카메라 네트워크를 구성한다. 8대의 카메라는 공간의 중심을 향하도록 하고, 4대의 카메라는 아래에 위치하고, 4대의 카메라는 위쪽에 위치한다. As an example, a distributed camera network is configured in such a way that eight cameras are installed in a limited space in order to generate a photorealistic 3D volume model. 8 cameras face the center of the space, 4 cameras are located below, and 4 cameras are located above.

도 2는 본 발명의 일례에 따른 분산 카메라 네트워크의 배치이다. 도 2(a)은 위에서 바라본 방향의 형태를 나타내고, 도 2(b)은 정면 방향의 배치를 나타낸다.2 is an arrangement of a distributed camera network according to an example of the present invention. Fig. 2(a) shows the shape in the direction viewed from above, and Fig. 2(b) shows the arrangement in the front direction.

색상-깊이(RGB-D) 센서의 종류와 성능을 비롯하여 스캐닝하고자 하는 대상물의 크기 등을 고려하여 카메라를 배치한다. 스캐닝되는 최대 품질과 초당 프레임 수는 색상-깊이(RGB-D) 센서의 특성에 비례한다. 일반적으로 최종적으로 획득되는 실사 3D 체적 모델의 활용 목적에 따라서 색상-깊이(RGB-D) 센서의 종류 및 개수 등이 결정될 것이다. 바람직하게는, 비교적 저가의 ToF(Time of Flight) 센서인 키넥트 애저(Kinect Azure)를 이용한 색상-깊이(RGB-D) 센서를 사용한다. Position the camera in consideration of the type and performance of the color-depth (RGB-D) sensor, as well as the size of the object to be scanned. The maximum quality scanned and the number of frames per second is proportional to the characteristics of the color-depth (RGB-D) sensor. In general, the type and number of color-depth (RGB-D) sensors will be determined according to the purpose of using the finally obtained realistic 3D volume model. Preferably, a color-depth (RGB-D) sensor using Kinect Azure, which is a relatively inexpensive Time of Flight (ToF) sensor, is used.

다음으로 본 발명의 일실시예에 따른 실사 3D 체적 모델을 생성하기 위한 전 과정을 도 3을 참조하여 설명한다.Next, the entire process for generating a photorealistic 3D volume model according to an embodiment of the present invention will be described with reference to FIG. 3 .

도 3에서 보는 바와 같이, 본 발명의 일실시예에 따른 3차원 포인트 클라우드 생성 방법은 깊이 처리(Depth Processing) 과정(①), 반복적 캘리브레이션(Iterative Calibration) 과정(②), 및, 등록(Registration) 과정(③)로 구성된다.As shown in FIG. 3 , the 3D point cloud generation method according to an embodiment of the present invention includes a depth processing process (①), an iterative calibration process (②), and registration (Registration) It consists of process (③).

먼저, 깊이 처리(Depth Processing) 과정(①)에서, 저가의 상용 ToF 센서로부터 센싱된 깊이 정보는 많은 잡음 성분을 갖고 있기 때문에, 깊이 정보에 포함된 잡음에 적합한 처리를 수행하여 잡음 성분(시간에 따른 깊이값의 편차)을 제거한다. 각 카메라별로 잡음이 제거된 깊이 정보는 색상(RGB) 영상을 기준으로 캘리브레이션(calibration)을 수행한다.First, in the depth processing process (①), since the depth information sensed from a low-cost commercial ToF sensor has many noise components, it is processed suitable for the noise included in the depth information to Deviation of depth value) is removed. Depth information from which noise has been removed for each camera is calibrated based on a color (RGB) image.

다음으로, 반복적 캘리브레이션(Iterative Calibration) 과정(②)은 크게 두 과정으로 구성되는데, 위와 아래에 배치된 카메라들 간에 쌍을 지어서 그들 간의 외부 파라미터를 구한다. 그리고 4개의 시점들 사이의 특징점 위치를 예측(estimation)하여 카메라들의 외부 파라미터를 계산한다. 이 2개의 과정은 최적의 결과를 얻을 때까지 반복된다.Next, the Iterative Calibration process (②) is largely composed of two processes. Pairs are made between the cameras placed above and below to obtain external parameters between them. And by estimating the position of the feature point between the four viewpoints, the external parameters of the cameras are calculated. These two processes are repeated until optimal results are obtained.

마지막으로, 등록(Registration) 과정(③)를 통해, 획득된 외부 파라미터를 이용하여 모든 포인트 클라우드를 통합한다. 즉, 외부 파라미터들을 이용하여 하나의 통합된 3D 포인트 클라우드를 생성한다. 또한, 품질을 향상하기 위해서 포인트 클라우드에 대한 개선 과정을 수행한다. 이러한 모든 과정을 거치면 최종적으로 실사 3D 포인트 클라우드가 출력된다.Finally, through the registration process (③), all point clouds are integrated using the obtained external parameters. That is, one integrated 3D point cloud is created using external parameters. In addition, in order to improve the quality, an improvement process is performed on the point cloud. After going through all these processes, the actual 3D point cloud is finally output.

다음으로 본 발명의 일실시예에 따른 3차원 체적 모델의 생성을 위한 다시점 카메라 기반의 반복적 캘리브레이션 방법을 도 4 내지 도 7을 참조하여 설명한다.Next, a multi-view camera-based iterative calibration method for generating a three-dimensional volume model according to an embodiment of the present invention will be described with reference to FIGS. 4 to 7 .

도 4에서 보는 바와 같이, 먼저, 다시점 색상-깊이(RGB-D) 카메라로부터 다시점 샘플 영상을 입력받는다(S10).As shown in FIG. 4 , first, a multi-viewpoint sample image is received from a multi-viewpoint color-depth (RGB-D) camera (S10).

샘플 영상은 RGB-D 카메라(21)를 통해 촬영된 색상 및 깊이 영상으로서, 2차원 픽셀들로 구성되고, 각 픽셀은 색상 값 및 깊이 값을 갖는다. 즉, 색상 영상의 픽셀은 색상 값을, 깊이 영상의 픽셀은 깊이 값을 갖는다.The sample image is a color and depth image captured by the RGB-D camera 21 , and is composed of two-dimensional pixels, and each pixel has a color value and a depth value. That is, a pixel of a color image has a color value, and a pixel of a depth image has a depth value.

샘플 영상은 다시점 카메라들의 외부 파라미터를 획득하기 위한 영상, 즉, 카메라 캘리브레이션을 위한 영상이다. 다시 말하면, 본 발명의 방법은 분산 네트워크 카메라들(다시점 RGB-D 카메라들) 사이의 공유하는 매칭점들을 구하고, 이들을 이용하여 포인트 클라우드 정합을 위한 좌표계 변환 파라미터를 획득한다. 이를 위해, 매칭점을 보다 용이하게 할 수 있는 샘플 영상을 이용한다.The sample image is an image for acquiring external parameters of multi-view cameras, that is, an image for camera calibration. In other words, the method of the present invention obtains matching points shared between distributed network cameras (multi-view RGB-D cameras), and uses them to obtain coordinate system transformation parameters for point cloud registration. To this end, a sample image that can make matching points easier is used.

특히, 다시점의 샘플 영상은 적어도 2개의 수평층을 이루는 적어도 4개의 색상-깊이 카메라에 의해 촬영된 각 시점의 색상-깊이 영상들로 구성된다. 또한, 각 층의 시점 수는 동일하고, 수직 방향의 각 층의 시점은 수평 방향으로 유사한 시점을 갖는다.In particular, the multi-view sample image is composed of color-depth images of each view captured by at least four color-depth cameras forming at least two horizontal layers. In addition, the number of viewpoints in each layer is the same, and viewpoints in each layer in the vertical direction have similar viewpoints in the horizontal direction.

바람직하게는, 샘플 영상은 차르코 보드를 사용한다. 본 발명에서는 빠른 동작을 위해서 차르코 보드를 사용하고 있지만, 반드시 차르코 보드를 사용해야하는 것은 아니다. 영상들 간의 매칭할 수 있는 동일 좌표만 찾으면 되기 때문에, 특징점을 추출하는 다른 방식을 적용할 수 있다.Preferably, the sample image uses a charco board. In the present invention, a charco board is used for fast operation, but it is not necessary to use a charco board. Since it is only necessary to find the same coordinates that can be matched between images, another method of extracting feature points can be applied.

즉, 매칭되는 포인트를 찾기 위해 QR코드와 체스보드를 합쳐서 만든 차르코 보드(Charuco board)를 사용한다[비특허문헌 5][비특허문헌 6][비특허문헌 7]. 차루코 보드의 좌표계를 월드 좌표계로 설정하여 카메라 외부 파라미터를 구하고, 특징점 매칭을 이용하여 포인트 클라우드를 정합한다.That is, in order to find a matching point, a Charuco board made by combining a QR code and a chess board is used [Non-Patent Document 5] [Non-Patent Document 6] [Non-Patent Document 7]. Set the coordinate system of the CHARUKO board as the world coordinate system to obtain the camera external parameters, and match the point cloud using feature point matching.

도 5(a)는 사용할 차르코 보드의 형태이고, 도 5(b)와 (c)는 차르코 보드의 특징점에 대한 실제 좌표이다. 이들 좌표를 이용하여 정합된 결과의 정량적인 평가를 수행할 수 있다.Fig. 5(a) shows the shape of the charco board to be used, and Figs. 5(b) and (c) are actual coordinates for the feature points of the charco board. Quantitative evaluation of the matched result can be performed using these coordinates.

다음으로, 각 시점의 샘플 영상을 포인트 클라우드로 변환한다(S20).Next, the sample image of each viewpoint is converted into a point cloud (S20).

즉, 샘플 영상을 촬영한 각 시점의 색상-깊이(RGB-D) 영상을 포인트 클라우드(이하 각 시점의 포인트 클라우드)로 변환한다.That is, a color-depth (RGB-D) image of each viewpoint at which a sample image is captured is converted into a point cloud (hereinafter, a point cloud of each viewpoint).

이때, 고품질의 외부 파라미터를 획득하기 위한 깊이 정보를 개선할 수 있다. 이 결과는 이후의 외부 파라미터들의 품질에 영향을 미친다.In this case, depth information for obtaining high-quality external parameters may be improved. This result affects the quality of subsequent external parameters.

다음으로, 이하에서 설명할 단계 S30 내지 S80은 반복적 캘리브레이션(iterative calibration) 과정을 나타낸다.Next, steps S30 to S80 to be described below represent an iterative calibration process.

반복적 캘리브레이션(Iterative Calibration)에서는 각 시점들 간의 정합 오차가 최소가 되도록 파라미터를 찾는 최적화를 수행한다. 이 과정을 통해서 각 카메라 좌표계를 공통된 월드 좌표계로 정렬하기 위한 외부 파라미터가 획득된다. 즉, 분산 카메라들 중에서 하나의 기준 카메라를 설정하고, 다른 카메라를 기준 카메라의 좌표계와 일치시킨다. 일치된 좌표계들은 월드 좌표계를 기준으로 표현된다. 그리고 최적화 함수를 이용하여 카메라별 좌표 변환 파라미터를 계산한다.In iterative calibration, optimization is performed to find parameters such that the matching error between each time point is minimized. Through this process, external parameters for aligning each camera coordinate system to a common world coordinate system are obtained. That is, one reference camera is set among the distributed cameras, and the other camera is matched with the coordinate system of the reference camera. The matched coordinate systems are expressed based on the world coordinate system. Then, the coordinate transformation parameters for each camera are calculated using the optimization function.

먼저 아래와 위에 위치한 카메라 쌍에 대한 변환 파라미터를 구한다. 이 과정을 탑바텀 캘리브레이션(Top-Bottom calibration)이라 부르기로 한다. 다음으로 각 시점에 위치한 카메라들에 대한 변환 파라미터를 구한다. 이때 가상 시점을 도입하여 카메라와 카메라 사이에 발생하는 변환 오차를 최소화시킨다.First, we find the transformation parameters for the camera pairs located below and above. This process will be referred to as top-bottom calibration. Next, conversion parameters for cameras located at each viewpoint are obtained. In this case, a virtual viewpoint is introduced to minimize the conversion error occurring between the camera and the camera.

요약하면, 모든 카메라들 중에서 2개 카메라의 쌍에 대해 변환 파라미터를 순차적으로 구하여, 이들 변환 파라미터에 의한 변환 오차를 최소화하도록 반복한다.In summary, conversion parameters are sequentially obtained for a pair of two cameras among all cameras, and the conversion error caused by these conversion parameters is repeatedly obtained.

먼저, 순차적으로 수행되는 각 쌍의 최적화 과정을 설명하기 전에, 2개 카메라 쌍에 대해 파라미터(Parameter)를 최적화(Optimization) 하는 과정을 설명한다. 파라미터 최적화 과정은 이하에서 설명할 단계 S30, S40, S60에 모두 적용되는 과정이다.First, before describing the sequentially performed optimization process of each pair, a process of optimizing parameters for two camera pairs will be described. The parameter optimization process is a process applied to all steps S30, S40, and S60 to be described below.

월드 좌표계를 구한 뒤에 카메라 좌표계에서 월드 좌표계로의 변환 행렬을 구해야 한다. 수학식 4는 월드 좌표에서 카메라 좌표로의 변환 식을 나타내며 P_W는 월드 좌표를 나타내고 P_C는 카메라 좌표를 나타낸다. R과 t는 카메라 좌표계에서 월드 좌표계로의 변환 행렬이다. 좌표축 변환과 좌표의 변환은 역변환 관계이므로 좌표의 변환은 수학식 4와 같다. After finding the world coordinate system, we need to find the transformation matrix from the camera coordinate system to the world coordinate system. Equation 4 represents a conversion formula from world coordinates to camera coordinates, where P _W represents world coordinates and P _C represents camera coordinates. R and t are transformation matrices from the camera coordinate system to the world coordinate system. Since the coordinate axis transformation and the coordinate transformation are inverse transformation relation, the coordinate transformation is the same as in Equation (4).

[수학식 4][Equation 4]

서로 다른 카메라에서 같은 차르코 보드의 평면를 촬영하면 같은 월드 좌표계를 계산할 수 있다. 같은 월드 좌표계를 두 카메라가 공유하면, 두 카메라 좌표계 사이의 변환 관계가 유도된다.By shooting the plane of the same Charcoal board from different cameras, the same world coordinate system can be calculated. When two cameras share the same world coordinate system, a transformation relationship between the two camera coordinate systems is induced.

기준이 되는 카메라 좌표를 P_C1라 하고 변환시킬 카메라 좌표를 P_C2라 하면, P_W를 공유하는 P_C1과 P_C2사이의 관계는 수학식 5로 정의된다.If the reference camera coordinates are P _C1 and the camera coordinates to be converted are P _C2 , the relationship between P _C1 and P _C2 sharing P _W is defined by Equation (5).

[수학식 5][Equation 5]

여기서 R₁×R₂ ^-1은 P_C1에서 P_C2으로의 회전행렬(R_2->1)이 되고 -R₁×R₂ ^-1×t₂+t₁은 P_C1에서 P_C2으로의 평행이동 행렬(t_2->1)이다.where R ₁ ×R ₂ ^-1 is the rotation matrix from P _C1 to P _C2 (R _2->1 ) and -R ₁ ×R ₂ ^-1 ×t ₂ +t ₁ is the parallel from P _C1 to P _C2 It is a movement matrix (t _{2 -> 1} ).

앞서 단계(S20)에서, 변환된 각 카메라(각 시점)의 포인트 클라우드에 대하여, 각 포인트를 동일한 좌표계(예를 들어, 월드 좌표계 또는 기준 좌표계)로 변환하면, 각 포인트의 3차원 좌표들을 매칭시킬 수 있다. 매칭된 좌표끼리 같은 위치에 위치하도록 하는 좌표변환 파라미터를 추정한다.In the previous step (S20), with respect to the point cloud of each converted camera (each viewpoint), if each point is converted into the same coordinate system (eg, a world coordinate system or a reference coordinate system), the three-dimensional coordinates of each point will be matched. can Estimate the coordinate transformation parameters that allow the matched coordinates to be located at the same location.

특히, 최적화 알고리즘을 사용하여 파라미터들 간의 오차 함수를 만든 후에, 경사 하강법을 이용하여 오차 함수의 해를 구한다.In particular, after creating an error function between parameters using an optimization algorithm, the error function is solved using gradient descent.

바람직하게는, 좌표계 변환행렬에는 x, y, z 축 각각의 회전각, 평행이동 값 그리고 스케일링 팩터까지 총 7개의 파라미터가 포함된다. 특히, 깊이 영상에서 발생하는 잡음 성분 및 카메라 제작 오차에 의해 촬영된 깊이 값이 실제거리와 다른 값이 출력될 수 있기 때문에, 이것을 보완하기 위한 파라미터로 스케일링 팩터를 새롭게 도입한다.Preferably, the coordinate system transformation matrix includes a total of seven parameters including rotation angles of each of the x, y, and z axes, a translation value, and a scaling factor. In particular, since a photographed depth value may output a value different from the actual distance due to a noise component and camera manufacturing error occurring in a depth image, a scaling factor is newly introduced as a parameter to compensate for this.

기준 카메라 좌표계로 구하고자 하는 시점의 좌표계를 변환하는 파라미터를 구한다. 이 과정은 수학식 6으로 정의된다. A parameter for converting the coordinate system of the viewpoint to be obtained to the reference camera coordinate system is obtained. This process is defined by Equation (6).

[수학식 6][Equation 6]

여기서, X_ref는 기준 카메라의 좌표계이고, X_i는 추정하는 카메라의 좌표계이다. R_i→ref, t_i→ref 그리고 S_i→ref은 각각 기준 카메라 좌표계로의 회전변환 행렬, 평행이동 행렬, 그리고 스케일링 팩터(factor)이다. 초기에 R_i→ref은 단위행렬로 설정하고, S_i→ref와 t_i→ref는 각각 1과 0으로 설정한다. Here, X _ref is the coordinate system of the reference camera, and X _i is the coordinate system of the estimated camera. R _i→ref , t _i→ref and S _i→ref are the rotation transformation matrix to the reference camera coordinate system, the translation matrix, and the scaling factor, respectively. Initially, R _i→ref is set as the identity matrix, and S _i→ref and t _i→ref are set to 1 and 0, respectively.

오차 함수 f_Error는 X_ref와 X_i'의 유클리드 제곱 거리(Squared Euclidean Distance, SED)의 평균값이고, 수학식 7과 같이 정의된다.The error function f _Error is the average value of the Squared Euclidean Distance (SED) of X _ref and X _i ', and is defined as in Equation (7).

[수학식 7][Equation 7]

여기서, N은 정합된 포인트 클라우드의 전체 개수를 나타낸다.Here, N represents the total number of matched point clouds.

수학식 7에서 X_i'(j)가 X_ref(j)에 근접하게 되면 f_Error가 영으로 수렴하게 된다. 즉, X_i(j)을 X_ref(j)로 변환하기 위한 최적의 R_i→ref, t_i→ref 그리고 S_i→ref를 추정하였다는 의미가 된다. In Equation 7, when X _i '(j) approaches X _ref (j), f _Error converges to zero. That is, it means that the optimal R _i→ref , t _i→ref and S _i→ref for converting X _i (j) into X _ref (j) are estimated.

이 함수를 모든 좌표계 변환 파라미터에 대해 편미분한 후에 오차 함숫값이 최소가 되도록 파라미터를 갱신해 나가는 과정을 수학식 8로 정의한다.Equation (8) defines a process of updating the parameter so that the error function value is minimized after partial differentiation of this function with respect to all coordinate system transformation parameters.

[수학식 8][Equation 8]

수학식 8은 n번째 파라미터 P_n과 f_Error의 편미분 결과를 이용하여 P_n+1를 갱신하는 과정을 나타낸다. α는 학습률을 나타내는 상수이다.Equation 8 shows a process of updating P _n+1 using the partial derivative result of the n-th parameter P _n and f _Error . α is a constant representing the learning rate.

P는 좌표변환 파라미터 R, t, S를 의미한다. ∂f_Error/∂P_n는 수학식 7을 좌표변환 파라미터로 편미분하는 것을 의미한다. 수학식 7에 수학식 6에 관한 항이 들어있으며 R, t, S가 P값을 의미하므로 편미분이 가능하다.P means coordinate transformation parameters R, t, S. ∂f _Error /∂P _n means partial differentiation of Equation 7 as a coordinate transformation parameter. Equation 7 contains the terms related to Equation 6, and since R, t, and S mean P values, partial differentiation is possible.

수학식 7을 통해 현재 변환된 좌표의 오차를 얻을 수 있으므로 수학식 8을 이용하여 오차가 줄어드는 방향으로 파라미터를 업데이트한다. f_Error가 최소화 되었다는 판단은 깊이 영상의 노이즈 때문에 3차원 좌표상의 위치의 정확성이 모두 다르기 때문에 변화량을 가지고 판단한다. 반복연산을 진행하며 변화량 값 α(∂f_Error/∂P_n)이 사전에 정해진 임계값보다 작으면 종료된다.Since the error of the currently transformed coordinates can be obtained through Equation 7, the parameter is updated in a direction in which the error is reduced using Equation 8. The judgment that the f _Error is minimized is judged with the amount of change because the accuracy of positions on the 3D coordinates are all different due to the noise of the depth image. The iterative operation is performed and if the change value α(∂f _Error /∂P _n ) is less than a predetermined threshold value, it is terminated.

이하에서, 반복적 캘리브레이션(iterative calibration) 과정인 단계 S30 내지 S80를 구체적으로 설명한다.Hereinafter, steps S30 to S80, which are iterative calibration processes, will be described in detail.

먼저, 탑바텀(Top-Bottom) 캘리브레이션(또는 탑바텁 정합)을 수행한다(S30). 즉, 수평 방향의 각 시점에서, 수직 방향의 카메라들에 대해 캘리브레이션을 수행하여 변환 파라미터(또는 외부 파라미터, 카메라 파라미터)를 최적화 한다. 즉, 수직 방향으로 인접한 시점들의 포인트 클라우드에 대해 캘리브레이션 하여 최적화를 수행한다.First, top-bottom calibration (or top-bottom matching) is performed (S30). That is, at each viewpoint in the horizontal direction, a conversion parameter (or an external parameter, a camera parameter) is optimized by performing calibration on the cameras in the vertical direction. That is, the optimization is performed by calibrating the point clouds of vertically adjacent viewpoints.

유사한 시점에서 위와 아래에 위치한 두 대의 카메라를 캘리브레이션 하는 것은 비교적 어려운 것이 아닐 것이다. 그러나 색상-깊이(RGB-D) 센서가 갖는 오차는 무시하기 어렵다.Calibrating two cameras located above and below at a similar point of view would not be relatively difficult. However, it is difficult to ignore the error of the color-depth (RGB-D) sensor.

앞서의 예에서, 4개의 시점(수평방향의 시점들)에서 각각 수직 방향으로 2대씩(위와 아래)의 카메라를 배치하기 때문에, 4번의 탑바텀 캘리브레이션(Top-Bottom calibration)을 수행한다. 캘리브레이션 과정은 앞서 설명한 파라미터 최적화 방식을 사용하고, 앞서 정의한 수학식 7을 이용하여 최적화를 수행한다.In the previous example, since two cameras (top and bottom) are arranged in each vertical direction at 4 viewpoints (viewpoints in the horizontal direction), top-bottom calibration is performed 4 times. In the calibration process, the parameter optimization method described above is used, and optimization is performed using Equation 7 defined above.

탑바텀 캘리브레이션(Top-Bottom calibration) 방식을 도 6에 나타내고 있다. 도 6의 예에서, 유사한 시점에 위치한 2대의 카메라가 촬영한 영상 사이의 최적화 과정을 통해서, 위와 아래에 위치한 두 카메라 사이의 변환 좌표계(또는 변환 파라미터)를 획득한다.A top-bottom calibration method is shown in FIG. 6 . In the example of FIG. 6 , a transformation coordinate system (or transformation parameter) between two cameras located above and below is obtained through an optimization process between images captured by two cameras located at similar viewpoints.

도 6에는 4개의 시점에 촬영된 총 8개의 영상을 예시하고 있고, 이 중에서 시점(viewpoint) 78의 위치에서 7과 8번 카메라 의해 획득된 영상들 사이의 최적화 과정을 예시하고 있다.6 illustrates a total of eight images captured at four viewpoints, and among them, an optimization process between images obtained by cameras 7 and 8 at a position of viewpoint 78 is illustrated.

또한, 최적화 후 정합된 포인트 클라우드를 추출한다. 즉, 앞서의 예에서, 각 시점에서 다수의 프레임에 대해 탑바텀(Top-Bottom) 캘리브레이션을 수행한 후에, 이 중에서 각 시점별로 하나씩의 결과를 선택하여 4쌍의 탑바텀(Top-Bottom) 정합된 포인트 클라우드 세트를 준비한다.Also, after optimization, the matched point cloud is extracted. That is, in the previous example, after performing Top-Bottom calibration for a plurality of frames at each time point, one result is selected for each time point from among them, and four pairs of Top-Bottom matching are performed. Prepare the point cloud set.

한편, 탑-바텀 캘리브레이션은 RGB-D 영상의 연속된 프레임에 대해 수행한다.Meanwhile, top-bottom calibration is performed on consecutive frames of RGB-D images.

다음으로, 각 시점의 탑바텀 정합된 포인트 클라우드들을 추출하되, 해당 시점의 다수의 프레임에서 랜덤하게 추출한다(S40). 즉, 각 시점의 연속된 프레임들의 탑바텀 정합된 포인트 클라우드 중에서 랜덤하게 1개 세트를 추출하여, 해당 시점의 탑바텀 정합된 포인트 클라우드로 추출한다.Next, the top-bottom matched point clouds of each viewpoint are extracted, but are randomly extracted from a plurality of frames of the corresponding viewpoint (S40). That is, one set is randomly extracted from the top-bottom matched point clouds of consecutive frames at each time point, and extracted as the top-bottom matched point clouds of the corresponding time point.

도 7과 같이, N개의 프레임 세트에서 각 시점 별로 하나씩의 탑바텀 캘리브레이션 파라미터(Top-Bottom calibrated parameter)를 선택한다.As shown in FIG. 7 , one top-bottom calibrated parameter is selected for each viewpoint from the set of N frames.

이하의 라운드 캘리브레이션 및 가상시점 캘리브레이션 과정은 다수의 프레임에서 랜덤하게 선택된 세트에 대해 반복적으로 수행된다(S70). 만일 다수의 프레임에서 랜덤하게 선택된 세트를 사용하지 않는다면, 카메라 파라미터들은 최저값으로 수렴하지 않고 유사한 값들을 반복할 수 있다.The following round calibration and virtual view calibration processes are repeatedly performed for randomly selected sets in a plurality of frames (S70). If a randomly selected set is not used in multiple frames, the camera parameters may repeat similar values without convergence to the lowest value.

바람직하게는, 다수의 프레임에서 한번 선택된 세트는 제외되어 중복해서 선택되지 않도록 한다.Preferably, a set once selected in a plurality of frames is excluded so that it is not repeatedly selected.

다음으로, 수평방향으로 인접한 각 시점의 탑바텀 정합된 포인트 클라우드들에 대하여 라운드 캘리브레이션(round calibraition)을 수행한다(S50). 즉, 인접한 2개의 탑바텀 정합된 포인트 클라우드의 쌍들 각각에 대하여, 앞서 설명한 파라미터 최적화 과정을 통해, 캘리브레이션을 수행하여 변환 파라미터를 최적화 한다.Next, round calibration is performed on the top-bottom-matched point clouds of each view adjacent in the horizontal direction (S50). That is, the conversion parameters are optimized by performing calibration on each of the two adjacent top-bottom matched point cloud pairs through the parameter optimization process described above.

라운드 캘리브레이션(round calibraition)을 통해서 4쌍에 대한 파라미터를 하나의 월드 좌표계에 대해 통일된 좌표계로 정렬하기 위한 파라미터로 최적화한다. 즉, 탑바텀 캘리브레이션 외부 파라미터(Top-Bottom calibrated exrinsic parameter)가 입력으로 주어지면 서로 인접한 시점(viewpoint)들 간에 외부 최적화(extrinsic optimization)를 수행한다.Through round calibration, the parameters for 4 pairs are optimized as parameters for aligning the parameters to a unified coordinate system with respect to one world coordinate system. That is, when a top-bottom calibrated exrinsic parameter is given as an input, extrinsic optimization is performed between adjacent viewpoints.

앞서 도 6의 예에서, 탑바텀 캘리브레이션에서 정합된 포인트 클라우드들을 각각 포인트 클라우드 12, 34, 56, 78이라 부르기로 한다.In the example of FIG. 6 above, the point clouds matched in the top-bottom calibration will be referred to as point clouds 12, 34, 56, and 78, respectively.

도 7에 라운드 캘리브레이션(round calibration) 과정을 도식적으로 나타내고 있다. 앞서 S40 단계에서, N개의 프레임 세트에서 각 시점 별로 하나씩의 탑바텀 캘리브레이션 파라미터(Top-Bottom calibrated parameter)를 선택하였다.7 schematically shows a round calibration process. Previously, in step S40, one top-bottom calibrated parameter was selected for each time point in the set of N frames.

시점(viewpoint) 12(정면, Front)는 시점(viewpoint) 34(좌면, Left) 및 시점(viewpoint) 78(우면, Right)와 각각 따로 캘리브레이션(calibration)을 수행하고, 다음으로 시점(viewpoint) 56(후면, Rear)는 시점(viewpoint) 34 및 시점(viewpoint) 78과 각각 캘리브레이션(calibration)을 수행한다. 즉, 시점12-시점78, 시점12-시점34, 시점78-시점56, 시점56-시점34 쌍으로 각각 캘리브레이션을 수행한다.Viewpoint 12 (front, Front) is calibrated separately from viewpoint 34 (left) and viewpoint 78 (right, right), and then, viewpoint 56 (Rear, Rear) performs calibration (calibration) with the viewpoint (viewpoint) 34 and viewpoint (viewpoint) 78, respectively. That is, each of the pair of time point 12-time point 78, time point 12-time point 34, time point 78-time point 56, and time point 56-time point 34 is calibrated.

다음으로, 가상 시점을 이용하여 다시 최적화(optimization)를 수행한다(S60). 즉, 수평 방향의 각 시점에서, 해당 시점의 인접한 양측 2개 시점의 일부 포인트 클라우드를 합하여 가상 시점의 포인트 클라우드를 생성하고, 가상 시점과 해당 시점의 포인트 클라우드들에 대해 파라미터 최적화를 수행한다.Next, optimization is performed again using a virtual viewpoint (S60). That is, at each viewpoint in the horizontal direction, a point cloud of a virtual viewpoint is generated by adding some point clouds of two viewpoints adjacent to the viewpoint, and parameter optimization is performed on the virtual viewpoint and the point clouds of the corresponding viewpoint.

특히, 해당 시점의 인접한 양측 2개 시점의 포인트 클라우드 중에서 해당 시점과 정합될 수 있는 포인트 클라우드를 합친다. 또한, 가상 시점의 포인트 클라우드로 합쳐지는 양측 시점의 포인트 클라우드는 앞서 라운드 캘리브레이션 단계에서 정합된 포인트 클라우드를 대상으로 한다.In particular, the point clouds that can be matched with the corresponding viewpoint are combined among the point clouds of two viewpoints on both sides of the viewpoint. In addition, the point clouds of both viewpoints that are merged into the point clouds of the virtual viewpoint target the point clouds that were matched in the previous round calibration step.

시점(viewpoint) 34과 시점(viewpoint) 78의 일부 정보를 합쳐서 시점(viewpoint) 12와 시점(viewpoint) 56에 해당하는 2개의 가상 시점을 생성한다. 이 가상 시점은 실제의 시점(viewpoint) 12 및 시점(viewpoint) 56과 최적화(optimization)를 수행한다.By combining some information of viewpoint 34 and viewpoint 78, two virtual viewpoints corresponding to viewpoint 12 and viewpoint 56 are generated. This virtual viewpoint performs optimization with the real viewpoint 12 and viewpoint 56.

이와 같은 가상 시점을 이용한 방식은 두 인접 시점 사이의 캘리브레이션에서 시점을 세분화함으로써 다수 시점에 대한 동시적인 캘리브레이션이 가능하다.In the method using such a virtual viewpoint, simultaneous calibration of multiple viewpoints is possible by subdividing viewpoints in the calibration between two adjacent viewpoints.

두 개의 가상시점은 가상시점(Virtual View) 1과 가상시점(Virtual View) 2이다. 도 6에서 확인할 수 있듯이, 가상시점(Virtual View) 1을 이용하면 세 개의 시점(시점 34, 시점 78, 시점 12)를 동시에 최적화하는 효과를 얻을 수 있고, 가상시점(Virtual View) 2를 이용하는 경우에도 동일한 효과를 얻는다. 즉, 가상 시점은 모든 시점을 한 번에 최적화 함수에 포함시키는 효과를 보일 수 있다. The two virtual views are a virtual view (Virtual View) 1 and a virtual view (Virtual View) 2. As can be seen in FIG. 6 , when Virtual View 1 is used, the effect of simultaneously optimizing three viewpoints (View 34, View 78, View 12) can be obtained, and when Virtual View 2 is used also has the same effect. That is, the virtual viewpoint may have the effect of including all viewpoints in the optimization function at once.

다음으로, 모든 캘리브레이션의 최적화 함수의 오차 크기와 그 변화량을 평가하여 전체 외부 캘리브레이션(extrinsic calibration) 과정을 종료한다(S80).Next, the error magnitude of the optimization function of all calibrations and the amount of change are evaluated to end the entire external calibration process (S80).

바람직하게는, 모든 오차가 사전에 정해진 범위 이내이고, 사전에 정해진 횟수만큼 추가적으로 반복하더라도 오차가 줄어드는 변화량이 사전에 정해진 임계 변화량 보다 작으면, 종료한다. 예를 들어, 20,000번 반복한 시점에서, 최근 3000번을 반복하더라도 이때 줄어드는 모든 오차의 변화량이 사전에 정해진 임계값 보다 작으면 종료한다.Preferably, if all the errors are within a predetermined range and the amount of change in which the error is reduced is smaller than the predetermined threshold change amount, even if it is repeated additionally for a predetermined number of times, the end of the process is performed. For example, at the time point of repetition 20,000 times, even if the latest repetition of 3000 times, if the amount of change in all the errors that are reduced at this time is less than a predetermined threshold value, it ends.

이상, 본 발명자에 의해서 이루어진 발명을 상기 실시 예에 따라 구체적으로 설명하였지만, 본 발명은 상기 실시 예에 한정되는 것은 아니고, 그 요지를 이탈하지 않는 범위에서 여러 가지로 변경 가능한 것은 물론이다.As mentioned above, the invention made by the present inventors has been described in detail according to the above embodiments, but the present invention is not limited to the above embodiments, and various modifications can be made without departing from the gist of the present invention.

10 : 객체 20 : 분산 카메라 시스템
21 : 색상-깊이(RGB-D) 카메라
30 : 컴퓨터 단말 40 : 캘리브레이션 시스템
60 : 색상-깊이 영상 10: object 20: distributed camera system
21 : color-depth (RGB-D) camera
30: computer terminal 40: calibration system
60: color-depth image

Claims

In a multi-view camera-based iterative calibration method for generating a three-dimensional volume model,
(a) receiving a multi-view color-depth image (hereinafter, a sample image);
(b) converting each sample image into a point cloud (hereinafter, a point cloud of each viewpoint);
(c) optimizing conversion parameters by performing calibration (hereinafter, referred to as top-bottom calibration) on point clouds (hereinafter, referred to as top-bottom point clouds) of viewpoints adjacent in the vertical direction, and matching the top-bottom point clouds;
(d) optimizing a transformation parameter by performing calibration (hereinafter, round calibration) on top-bottom matched point clouds of adjacent viewpoints in the horizontal direction; and,
(e) generating a point cloud of a virtual viewpoint by merging some of the top-bottom point clouds of at least two viewpoints, and performing calibration (hereinafter, virtual viewpoint calibration) for viewpoints adjacent to the virtual viewpoint to optimize conversion parameters; A multi-view camera-based iterative calibration method for generating a three-dimensional volume model, comprising:

According to claim 1,
In step (a), the multi-view sample image is composed of color-depth images of each view taken by at least four color-depth cameras forming at least two horizontal layers, A multi-view camera-based iterative calibration method for generating a three-dimensional volume model, characterized in that the number is the same.

According to claim 1,
In step (c), in each of the viewpoints in the horizontal direction, calibration is performed on the point clouds of the viewpoints adjacent in the vertical direction to optimize the transformation parameter, and the coordinate system of one viewpoint among the viewpoints adjacent in the vertical direction (hereinafter referred to as the coordinate system) A multi-viewpoint camera-based iterative calibration method for generating a three-dimensional volume model, characterized in that the point clouds of vertically adjacent viewpoints are matched with the top-bottom reference coordinate system and merged to generate the top-bottom matched point clouds.

According to claim 1,
In step (e), when performing the virtual viewpoint calibration, at each viewpoint in the horizontal direction, a part of the top-bottom point clouds of two viewpoints adjacent to the viewpoint are combined to generate a point cloud of the virtual viewpoint, A multi-view camera-based iterative calibration method for generating a three-dimensional volume model, characterized in that calibration is performed on each of the point cloud of the virtual viewpoint and the point clouds of two adjacent viewpoints of the virtual viewpoint.

According to claim 1,
In step (d), the top-bottom matched point clouds used for the round calibration are randomly extracted from a plurality of frames, but randomly 1 from among the top-bottom matched point clouds of consecutive frames of the sample image at each viewpoint. A multi-view camera-based iterative calibration method for generating a three-dimensional volume model, characterized in that extracting a dog and extracting it as a point cloud matched with a tambottom of the corresponding viewpoint.

The method of claim 5, wherein the method comprises:
(f) randomly selecting a frame from a plurality of frames, characterized in that it further comprises the step of repeating the steps (d) and (e) for the selected frame tombottom-matched point cloud A multi-view camera-based iterative calibration method for the generation of 3D volumetric models.

According to claim 1,
When performing top-bottom calibration, round calibration, and virtual point calibration in steps (c), (d), and (d), respectively, one of the two viewpoints is set as a reference coordinate system, and the transformation parameter is set as the reference coordinate system. A multi-view camera-based iterative calibration method for generating a three-dimensional volume model, characterized in that it consists of a rotation transformation matrix, a translation matrix, and a scaling factor.

The method of claim 1,
When performing the top-bottom calibration, round calibration, and virtual point calibration, the error between the actual coordinates (X _ref ) of the point cloud of the reference coordinate system and the transformation coordinates (X _i ') by the transformation parameter is minimized, the transformation A multi-view camera-based iterative calibration method for the generation of a three-dimensional volume model, characterized in that the parameter is optimized.

The method of claim 8, wherein the method comprises:
(g) repeating steps (c), (d), and (d), further comprising the step of terminating the iteration by evaluating the error magnitude and change amount of the optimization function of all calibrations A multi-view camera-based iterative calibration method for generation of

10. The method of claim 9,
In the step (g), if the error of the optimization function of all calibrations is within a predetermined range, and the amount of change in which the error is reduced even if it is repeated additionally for a predetermined number of times is smaller than the predetermined threshold change amount, it is terminated, characterized in that A multi-view camera-based iterative calibration method for the generation of 3D volumetric models.

9. The method of claim 8,
When performing the top-bottom calibration, round calibration, and virtual point calibration, by the following Equation 1, by updating the next coordinate transformation parameter P _n+1 from the current coordinate transformation parameter P _n , optimization is repeated, characterized in that A multi-view camera-based iterative calibration method for the generation of 3D volumetric models.
[Formula 1]

Here, α is a preset constant, P denotes a transformation parameter rotation transformation matrix R, a translation matrix t, and a scaling factor S, P _n is the value of the currently calculated transformation parameter, and P _n+1 is The coordinate transformation parameter value to be corrected, ∂f _Error /∂P _n means partial differentiation of f _Error as a transformation parameter, and f _Error is the actual coordinate (X _ref ) of the point cloud of the reference coordinate system and transformation coordinates by the transformation parameter. The error function of (X _i ').

12. A computer-readable recording medium recording a program for performing the multi-view camera-based iterative calibration method for generating a three-dimensional volume model according to any one of claims 1 to 11.