KR102295857B1 - Calibration Method for Real-Time Spherical 3D 360 Imaging and Apparatus Therefor - Google Patents
Calibration Method for Real-Time Spherical 3D 360 Imaging and Apparatus Therefor Download PDFInfo
- Publication number
- KR102295857B1 KR102295857B1 KR1020190084592A KR20190084592A KR102295857B1 KR 102295857 B1 KR102295857 B1 KR 102295857B1 KR 1020190084592 A KR1020190084592 A KR 1020190084592A KR 20190084592 A KR20190084592 A KR 20190084592A KR 102295857 B1 KR102295857 B1 KR 102295857B1
- Authority
- KR
- South Korea
- Prior art keywords
- wide
- coordinate information
- pattern
- angle cameras
- angle
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
- G06T7/85—Stereo camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/97—Determining parameters from multiple pictures
Abstract
실시간 360 깊이 영상 측정을 위한 카메라 캘리브레이션 방법 및 그 장치가 개시된다. 본 발명의 일 실시예에 따른 360도 카메라 캘리브레이션 방법은 패턴 박스 내에서 360도 카메라의 미리 설정된 방향들 각각에 배치된 광각 카메라들을 이용하여 상기 패턴 박스 내의 패턴에 대한 광각 영상들을 촬영하는 단계; 상기 촬영된 광각 영상들 각각에 포함된 패턴의 분석을 통해 각 패턴의 좌표 정보를 검출하는 단계; 상기 360도 카메라에 대해 미리 설정된 카메라 모델에 기초하여 상기 광각 카메라들 각각의 센서에 프로젝션되는 각 패턴의 좌표 정보를 계산하는 단계; 및 상기 계산된 좌표 정보와 상기 검출된 좌표 정보에 기초하여 상기 광각 카메라들 각각의 내부 파라미터들(intrinsic parameters)과 외부 파라미터들(extrinsic parameters)을 캘리브레이션하는 단계를 포함한다.A camera calibration method and apparatus for real-time 360 depth image measurement are disclosed. A 360-degree camera calibration method according to an embodiment of the present invention includes: photographing wide-angle images for a pattern in the pattern box by using wide-angle cameras disposed in each of preset directions of the 360-degree camera within the pattern box; detecting coordinate information of each pattern through analysis of a pattern included in each of the photographed wide-angle images; calculating coordinate information of each pattern projected to the sensor of each of the wide-angle cameras based on a camera model preset for the 360-degree camera; and calibrating intrinsic parameters and extrinsic parameters of each of the wide-angle cameras based on the calculated coordinate information and the detected coordinate information.
Description
본 발명은 360도 카메라 캘리브레이션 기술에 관한 것으로, 보다 구체적으로는 패턴 박스를 구성하는 패턴 예를 들어, 체크 패턴을 이용하여 360도 카메라를 구성하는 광각 카메라들 각각의 내부 파라미터들(intrinsic parameters)과 외부 파라미터들(extrinsic parameters)을 자동으로 캘리브레이션할 수 있는 방법 및 그 장치에 관한 것이다.The present invention relates to a 360-degree camera calibration technology, and more specifically, the intrinsic parameters of each of the wide-angle cameras configuring the 360-degree camera using a pattern constituting a pattern box, for example, a check pattern, and A method and apparatus for automatically calibrating external parameters are provided.
360도 카메라는 360도의 시야(field of view)를 제공하기 위한 복수의 카메라들 예를 들어, 광각 카메라들을 포함한다. 카메라를 이용하여 시야를 제공하기 위해서는 카메라의 파라미터 예를 들어, 내부 파라미터와 외부 파라미터가 요구된다. 이러한 파라미터를 구하는 과정을 카메라 캘리브레이션이라고 한다.The 360 degree camera includes a plurality of cameras, eg, wide angle cameras, to provide a 360 degree field of view. In order to provide a field of view using a camera, parameters of the camera, for example, internal parameters and external parameters are required. The process of obtaining these parameters is called camera calibration.
본 발명의 실시예들은, 패턴 박스를 구성하는 패턴 예를 들어, 체크 패턴을 이용하여 360도 카메라를 구성하는 광각 카메라들 각각의 내부 파라미터들(intrinsic parameters)과 외부 파라미터들(extrinsic parameters)을 자동으로 캘리브레이션할 수 있는 방법 및 그 장치를 제공한다.Embodiments of the present invention automatically set the intrinsic parameters and extrinsic parameters of each of the wide-angle cameras constituting the 360-degree camera using a pattern constituting a pattern box, for example, a check pattern. To provide a method and an apparatus capable of calibrating the
본 발명의 일 실시예에 따른 360도 카메라 캘리브레이션 방법은 패턴 박스 내에서 360도 카메라의 미리 설정된 방향들 각각에 배치된 광각 카메라들을 이용하여 상기 패턴 박스 내의 패턴에 대한 광각 영상들을 촬영하는 단계; 상기 촬영된 광각 영상들 각각에 포함된 패턴의 분석을 통해 각 패턴의 좌표 정보를 검출하는 단계; 상기 360도 카메라에 대해 미리 설정된 카메라 모델에 기초하여 상기 광각 카메라들 각각의 센서에 프로젝션되는 각 패턴의 좌표 정보를 계산하는 단계; 및 상기 계산된 좌표 정보와 상기 검출된 좌표 정보에 기초하여 상기 광각 카메라들 각각의 내부 파라미터들(intrinsic parameters)과 외부 파라미터들(extrinsic parameters)을 캘리브레이션하는 단계를 포함한다.A 360-degree camera calibration method according to an embodiment of the present invention includes: photographing wide-angle images for a pattern in the pattern box by using wide-angle cameras disposed in each of preset directions of the 360-degree camera within the pattern box; detecting coordinate information of each pattern through analysis of a pattern included in each of the photographed wide-angle images; calculating coordinate information of each pattern projected to the sensor of each of the wide-angle cameras based on a camera model preset for the 360-degree camera; and calibrating intrinsic parameters and extrinsic parameters of each of the wide-angle cameras based on the calculated coordinate information and the detected coordinate information.
상기 패턴 박스는 좌표 정보에 대응하는 상이한 태그를 포함하는 체크 패턴들을 포함하고, 상기 촬영하는 단계는 상기 태그를 포함하는 체크 패턴들에 대한 광각 영상들을 촬영할 수 있다.The pattern box may include check patterns including different tags corresponding to coordinate information, and the photographing may include capturing wide-angle images of the check patterns including the tags.
상기 캘리브레이션하는 단계는 상기 광각 카메라들에 대한 리프로젝션 에러(reprojection errors)를 최소화함으로써, 상기 광각 카메라들 각각의 내부 파라미터들과 외부 파라미터들을 캘리브레이션할 수 있다.In the calibrating, internal parameters and external parameters of each of the wide-angle cameras may be calibrated by minimizing reprojection errors for the wide-angle cameras.
나아가, 본 발명의 일 실시예에 따른 360도 카메라 캘리브레이션 방법은 상기 광각 카메라들 각각의 초기 내부 파라미터들과 초기 외부 파라미터들을 미리 설정된 방법을 이용하여 설정하는 단계를 더 포함하고, 상기 계산하는 단계는 상기 카메라 모델 그리고 상기 광각 카메라들 각각의 초기 내부 파라미터들과 초기 외부 파라미터들을 이용하여 상기 광각 카메라들 각각의 센서에 프로젝션되는 각 패턴의 좌표 정보를 계산할 수 있다.Furthermore, the 360-degree camera calibration method according to an embodiment of the present invention further includes the step of setting initial internal parameters and initial external parameters of each of the wide-angle cameras using a preset method, wherein the calculating includes: Coordinate information of each pattern projected to the sensor of each of the wide-angle cameras may be calculated using the camera model and initial internal parameters and initial external parameters of each of the wide-angle cameras.
상기 캘리브레이션하는 단계는 상기 광각 카메라들에 대하여 상기 계산된 좌표 정보와 상기 검출된 좌표 정보가 같아지도록 최적화 문제를 해결함으로써, 상기 광각 카메라들 각각의 내부 파라미터들과 외부 파라미터들을 획득할 수 있다.The calibrating may obtain internal parameters and external parameters of each of the wide-angle cameras by solving an optimization problem such that the calculated coordinate information and the detected coordinate information for the wide-angle cameras are identical.
상기 캘리브레이션하는 단계는 상기 광각 카메라들 각각에 대하여 상기 계산된 좌표 정보와 상기 검출된 좌표 정보가 같아지도록 최적화 문제를 해결하여 1차 캘리브레이션을 수행하고, 상기 광각 카메라들 중 이웃하는 광각 카메라들에 의해 오버랩된 영역에 대하여 상기 계산된 좌표 정보와 상기 검출된 좌표 정보가 같아지도록 최적화 문제를 해결하여 2차 캘리브레이션을 수행함으로써, 상기 광각 카메라들 각각의 내부 파라미터들과 외부 파라미터들을 획득할 수 있다.In the calibrating step, the first calibration is performed by solving an optimization problem so that the calculated coordinate information and the detected coordinate information are the same for each of the wide-angle cameras, and by using neighboring wide-angle cameras among the wide-angle cameras. Internal parameters and external parameters of each of the wide-angle cameras can be obtained by performing secondary calibration by solving an optimization problem so that the calculated coordinate information and the detected coordinate information are the same for the overlapped region.
본 발명의 일 실시예에 따른 360도 카메라 캘리브레이션 장치는 패턴 박스 내에서 360도 카메라의 미리 설정된 방향들 각각에 배치된 광각 카메라들을 이용하여 상기 패턴 박스 내의 패턴에 대한 광각 영상들을 촬영하는 촬영부; 상기 촬영된 광각 영상들 각각에 포함된 패턴의 분석을 통해 각 패턴의 좌표 정보를 검출하는 검출부; 상기 360도 카메라에 대해 미리 설정된 카메라 모델에 기초하여 상기 광각 카메라들 각각의 센서에 프로젝션되는 각 패턴의 좌표 정보를 계산하는 계산부; 및 상기 계산된 좌표 정보와 상기 검출된 좌표 정보에 기초하여 상기 광각 카메라들 각각의 내부 파라미터들(intrinsic parameters)과 외부 파라미터들(extrinsic parameters)을 캘리브레이션하는 캘리브레이션부를 포함한다.A 360-degree camera calibration apparatus according to an embodiment of the present invention includes: a photographing unit for photographing wide-angle images of a pattern in the pattern box using wide-angle cameras disposed in each of preset directions of the 360-degree camera within the pattern box; a detection unit configured to detect coordinate information of each pattern through analysis of a pattern included in each of the photographed wide-angle images; a calculation unit for calculating coordinate information of each pattern projected to the sensor of each of the wide-angle cameras based on a camera model preset for the 360-degree camera; and a calibrator configured to calibrate internal parameters and external parameters of each of the wide-angle cameras based on the calculated coordinate information and the detected coordinate information.
상기 패턴 박스는 좌표 정보에 대응하는 상이한 태그를 포함하는 체크 패턴들을 포함하고, 상기 촬영부는 상기 태그를 포함하는 체크 패턴들에 대한 광각 영상들을 촬영할 수 있다.The pattern box may include check patterns including different tags corresponding to coordinate information, and the photographing unit may capture wide-angle images of the check patterns including the tags.
상기 캘리브레이션부는 상기 광각 카메라들에 대한 리프로젝션 에러(reprojection errors)를 최소화함으로써, 상기 광각 카메라들 각각의 내부 파라미터들과 외부 파라미터들을 캘리브레이션할 수 있다.The calibrator may calibrate internal parameters and external parameters of each of the wide-angle cameras by minimizing reprojection errors with respect to the wide-angle cameras.
나아가, 본 발명의 일 실시예에 따른 360도 카메라 캘리브레이션 장치는 상기 광각 카메라들 각각의 초기 내부 파라미터들과 초기 외부 파라미터들을 미리 설정된 방법을 이용하여 설정하는 설정부를 더 포함하고, 상기 계산부는 상기 카메라 모델 그리고 상기 광각 카메라들 각각의 초기 내부 파라미터들과 초기 외부 파라미터들을 이용하여 상기 광각 카메라들 각각의 센서에 프로젝션되는 각 패턴의 좌표 정보를 계산할 수 있다.Furthermore, the 360-degree camera calibration apparatus according to an embodiment of the present invention further includes a setting unit for setting initial internal parameters and initial external parameters of each of the wide-angle cameras using a preset method, wherein the calculator includes the camera Coordinate information of each pattern projected to the sensor of each of the wide-angle cameras may be calculated using a model and initial internal parameters and initial external parameters of each of the wide-angle cameras.
상기 캘리브레이션부는 상기 광각 카메라들에 대하여 상기 계산된 좌표 정보와 상기 검출된 좌표 정보가 같아지도록 최적화 문제를 해결함으로써, 상기 광각 카메라들 각각의 내부 파라미터들과 외부 파라미터들을 획득할 수 있다.The calibrator may obtain internal parameters and external parameters of each of the wide-angle cameras by solving an optimization problem such that the calculated coordinate information and the detected coordinate information for the wide-angle cameras are the same.
상기 캘리브레이션부는 상기 광각 카메라들 각각에 대하여 상기 계산된 좌표 정보와 상기 검출된 좌표 정보가 같아지도록 최적화 문제를 해결하여 1차 캘리브레이션을 수행하고, 상기 광각 카메라들 중 이웃하는 광각 카메라들에 의해 오버랩된 영역에 대하여 상기 계산된 좌표 정보와 상기 검출된 좌표 정보가 같아지도록 최적화 문제를 해결하여 2차 캘리브레이션을 수행함으로써, 상기 광각 카메라들 각각의 내부 파라미터들과 외부 파라미터들을 획득할 수 있다.The calibrator solves an optimization problem so that the calculated coordinate information and the detected coordinate information are the same for each of the wide-angle cameras to perform the first calibration, and overlaps by neighboring wide-angle cameras among the wide-angle cameras Internal parameters and external parameters of each of the wide-angle cameras may be obtained by performing secondary calibration by solving an optimization problem so that the calculated coordinate information and the detected coordinate information are the same for a region.
본 발명의 일 실시예에 따른 360도 카메라 장치는 패턴 박스 내에서 미리 설정된 방향들 각각에 배치된 광각 카메라들을 이용하여 상기 패턴 박스 내의 패턴에 대한 광각 영상들을 촬영하는 촬영부; 상기 촬영된 광각 영상들 각각에 포함된 패턴의 분석을 통해 각 패턴의 좌표 정보를 검출하는 검출부; 미리 설정된 카메라 모델에 기초하여 상기 광각 카메라들 각각의 센서에 프로젝션되는 각 패턴의 좌표 정보를 계산하는 계산부; 및 상기 계산된 좌표 정보와 상기 검출된 좌표 정보에 기초하여 상기 광각 카메라들 각각의 내부 파라미터들(intrinsic parameters)과 외부 파라미터들(extrinsic parameters)을 캘리브레이션하는 캘리브레이션부를 포함한다.A 360-degree camera apparatus according to an embodiment of the present invention includes: a photographing unit for photographing wide-angle images of a pattern in the pattern box using wide-angle cameras disposed in preset directions within the pattern box; a detection unit configured to detect coordinate information of each pattern through analysis of a pattern included in each of the photographed wide-angle images; a calculation unit for calculating coordinate information of each pattern projected to each sensor of the wide-angle cameras based on a preset camera model; and a calibrator configured to calibrate internal parameters and external parameters of each of the wide-angle cameras based on the calculated coordinate information and the detected coordinate information.
본 발명의 실시예들에 따르면, 패턴 박스를 구성하는 패턴 예를 들어, 체크 패턴을 이용하여 360도 카메라를 구성하는 광각 카메라들 각각의 내부 파라미터들(intrinsic parameters)과 외부 파라미터들(extrinsic parameters)을 자동으로 캘리브레이션함으로써, 자동 캘리브레이션된 360도 카메라를 이용하여 실시간으로 360 영상을 복원할 수 있다.According to embodiments of the present invention, intrinsic parameters and extrinsic parameters of each of the wide-angle cameras constituting the 360-degree camera using a pattern constituting a pattern box, for example, a check pattern By automatically calibrating the , 360 images can be restored in real time using the automatically calibrated 360-degree camera.
이러한 본 발명은 360 깊이-컬러 카메라를 제작하기 위한 필수적인 기술로, 360 영상을 실시간에 필요로 하는 다양한 증강 현실 또는 가상 현실 어플리케이션에 사용될 수도 있다.The present invention is an essential technology for manufacturing a 360 depth-color camera, and may be used in various augmented reality or virtual reality applications that require 360 images in real time.
도 1은 본 발명의 일 실시예에 따른 360도 카메라 캘리브레이션 방법에 대한 동작 흐름도를 나타낸 것이다.
도 2는 본 발명에서 사용하는 360도 카메라와 패턴 박스에 대한 일 예시도를 나타낸 것이다.
도 3은 광각 카메라들에 의해 촬영된 광각 영상들에 대한 일 예시도를 나타낸 것이다.
도 4는 광각 카메라 각각에서 촬영한 광각 영상들로부터 검출한 좌표 정보에 대한 일 예시도를 나타낸 것이다.
도 5는 최적화 문제를 해결하는 과정을 설명하기 위한 일 예시도를 나타낸 것이다.
도 6은 본 발명에 의해 캘리브레이션 결과에 대한 일 예시도를 나타낸 것이다.
도 7은 본 발명의 일 실시예에 따른 360도 카메라 캘리브레이션 장치에 대한 구성을 나타낸 것이다.1 is a flowchart illustrating a 360 degree camera calibration method according to an embodiment of the present invention.
Figure 2 shows an example of a 360-degree camera and pattern box used in the present invention.
3 is a diagram illustrating an example of wide-angle images captured by wide-angle cameras.
4 is a diagram illustrating an example of coordinate information detected from wide-angle images captured by each wide-angle camera.
5 is a diagram illustrating an example for explaining a process of solving an optimization problem.
6 shows an exemplary view of a calibration result according to the present invention.
7 shows the configuration of a 360 degree camera calibration apparatus according to an embodiment of the present invention.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.Advantages and features of the present invention and methods of achieving them will become apparent with reference to the embodiments described below in detail in conjunction with the accompanying drawings. However, the present invention is not limited to the embodiments disclosed below, but will be implemented in various different forms, and only these embodiments allow the disclosure of the present invention to be complete, and common knowledge in the art to which the present invention pertains It is provided to fully inform those who have the scope of the invention, and the present invention is only defined by the scope of the claims.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며, 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소, 단계, 동작 및/또는 소자는 하나 이상의 다른 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.The terminology used herein is for the purpose of describing the embodiments, and is not intended to limit the present invention. As used herein, the singular also includes the plural unless specifically stated otherwise in the phrase. As used herein, "comprises" and/or "comprising" refers to the presence of one or more other components, steps, operations and/or elements mentioned. or addition is not excluded.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.Unless otherwise defined, all terms (including technical and scientific terms) used herein may be used with the meaning commonly understood by those of ordinary skill in the art to which the present invention belongs. In addition, terms defined in a commonly used dictionary are not to be interpreted ideally or excessively unless specifically defined explicitly.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예들을 보다 상세하게 설명하고자 한다. 도면 상의 동일한 구성요소에 대해서는 동일한 참조 부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.Hereinafter, preferred embodiments of the present invention will be described in more detail with reference to the accompanying drawings. The same reference numerals are used for the same components in the drawings, and repeated descriptions of the same components are omitted.
본 발명의 실시예들은, 패턴 박스 예를 들어, 각 면이 체크 패턴으로 구성된 육면체의 패턴 박스를 이용하여 360도 카메라를 구성하는 광각 카메라들 각각의 내부 파라미터들(intrinsic parameters)과 외부 파라미터들(extrinsic parameters)을 자동으로 캘리브레이션하는 것을 그 요지로 한다.In embodiments of the present invention, intrinsic parameters and external parameters ( Its gist is to automatically calibrate extrinsic parameters.
여기서, 본 발명은 체크 패턴 각각에 미리 설정된 인덱스 또는 좌표 정보에 대응하는 태그 예를 들어, 에이프릴태그(apriltags)를 포함하고, 광각 카메라 각각에 의해 촬영된 광각 영상들 내의 각 체크 패턴의 에이프릴태그를 이용하여 좌표 정보를 검출하며, 미리 설정된 카메라 모델에 기초하여 계산된 좌표 정보와 검출된 좌표 정보에 기초하여 광각 카메라들 각각의 내부 파라미터들과 외부 파라미터들을 캘리브레이션할 수 있다.Here, the present invention includes a tag corresponding to index or coordinate information preset in each check pattern, for example, apriltags, and an april tag of each check pattern in wide-angle images captured by each wide-angle camera. Coordinate information is detected using the control unit, and internal parameters and external parameters of each of the wide-angle cameras may be calibrated based on coordinate information calculated based on a preset camera model and the detected coordinate information.
이 때, 본 발명은 최적화 문제를 광각 카메라들 각각에 대하여 해결함으로써, 광각 카메라들 각각에 대하여 1차 캘리브레이션을 수행하고, 모든 광각 카메라들에서 이웃하는 광각 카메라들 간의 오버랩된 영역에 대하여 최적화 문제를 해결함으로써, 2차 캘리브레이션을 수행할 수 있는데, 2차 캘리브레이션은 1차 캘리브레이션을 통해 획득된 내부 파라미터들을 고정시킨 후 외부 파라미터만을 정밀하게 캘리브레이션할 수 있다.At this time, the present invention solves the optimization problem for each of the wide-angle cameras, thereby performing the first calibration for each of the wide-angle cameras, and solving the optimization problem for the overlapping area between the neighboring wide-angle cameras in all of the wide-angle cameras. As a result, the secondary calibration can be performed, in which only the external parameters can be precisely calibrated after the internal parameters obtained through the primary calibration are fixed.
본 발명에서 사용되는 360도 카메라는 360도 카메라로도 사용될 수 있으며, 360도를 촬영할 수 있는 모든 종류의 카메라를 포함할 수 있다.The 360-degree camera used in the present invention may also be used as a 360-degree camera, and may include all types of cameras capable of capturing 360 degrees.
이러한 본 발명에 대하여 도 1 내지 도 7을 참조하여 설명한다.The present invention will be described with reference to FIGS. 1 to 7 .
도 1은 본 발명의 일 실시예에 따른 360도 카메라 캘리브레이션 방법에 대한 동작 흐름도를 나타낸 것이다.1 is a flowchart illustrating an operation of a 360-degree camera calibration method according to an embodiment of the present invention.
도 1을 참조하면, 본 발명의 일 실시예에 따른 360도 카메라 캘리브레이션 방법은 미리 설정된 패턴을 가지는 패턴 박스 내에 360도 카메라를 배치시키고, 패턴 박스 내에서 360도 카메라의 광각 카메라들을 이용하여 패턴 박스 내의 패턴에 대한 광각 영상들을 촬영한다(S110).Referring to FIG. 1 , a 360-degree camera calibration method according to an embodiment of the present invention arranges a 360-degree camera in a pattern box having a preset pattern, and uses the wide-angle cameras of the 360-degree camera in the pattern box. Wide-angle images of the inner pattern are photographed (S110).
여기서, 패턴 박스는 정육면체 패턴 박스를 의미할 수 있으며, 각 면에는 미리 설정된 체크 패턴이 형성될 수 있고, 체크 패턴 각각에는 해당 패턴의 인덱스 정보 또는 꼭지점의 좌표 정보가 미리 설정된 태그 예를 들어, 에이프릴태그(apriltags)를 포함할 수 있다.Here, the pattern box may mean a cube pattern box, and a preset check pattern may be formed on each side, and index information of the corresponding pattern or coordinate information of a vertex is preset in each of the check patterns. For example, April May include tags (apriltags).
예를 들어, 도 2a에 도시된 바와 같이, 360도 카메라(200)는 60도 단위로 일정 간격 배치된 6개의 광각 카메라들(CAM1 내지 CAM6)를 포함하고, 이러한 360도 카메라를 도 2b에 도시된 바와 같이 각 면이 패턴 예를 들어, 체크 패턴으로 형성된 정육면체의 패턴 박스(300) 내에 배치한 후 광각 카메라를 이용하여 체크 박스 내의 체크 패턴을 포함하는 광각 영상들을 촬영한다. 여기서, 체크 패턴은 도 2c에 도시된 바와 같이, 상이한 에이프릴태그(310)를 포함하는 체크 보드로 형성될 수 있으며, 에이프릴태그(310) 각각은 해당 체크에 대응하는 인덱스 또는 좌표 정보를 포함할 수 있다. 에이프릴태그(310) 각각에 따른 인덱스 정보 또는 좌표 정보에 대한 데이터는 360도 카메라에 미리 저장될 수 있다.For example, as shown in FIG. 2A , the 360-
물론, 본 발명에서의 패턴 박스는 에이프릴태그를 포함하는 체크 패턴 박스만을 한정하지 않으며, 좌표 정보 또는 인덱스 정보를 추출할 수 있는 패턴을 가지는 패턴 박스를 모두 포함할 수 있다. 예를 들어, 패턴 박스는 각 면이 체크 보드인 정육면체의 체크 박스를 포함할 수 있으며, 각 면의 체크 패턴의 크기를 상이하게 형성할 수도 있고, 각 면의 패턴 모양을 상이하게 설정할 수도 있다. 이렇듯, 패턴 박스 내의 패턴 크기 또는 패턴 모양을 상이하게 함으로써, 촬영된 광각 영상들의 영상 처리를 통해 촬영된 광각 영상들에 포함된 패턴의 인덱스 또는 위치 또는 좌표 정보를 검출할 수 있다.Of course, the pattern box in the present invention is not limited to only the check pattern box including the April tag, and may include all pattern boxes having a pattern from which coordinate information or index information can be extracted. For example, the pattern box may include a check box of a cube in which each side is a check board, the size of the check pattern on each side may be formed differently, and the pattern shape of each side may be set differently. As such, by differentiating the size or shape of the pattern in the pattern box, the index or position or coordinate information of the pattern included in the captured wide-angle images may be detected through image processing of the captured wide-angle images.
도 3은 광각 카메라들 각각에 의해 촬영된 광각 영상들에 대한 일 예시도를 나타낸 것으로, 패턴 박스가 에이프릴태그가 없는 일반 체크 패턴으로 형성된 경우에 촬영된 광각 영상들을 나타낸 것으로, 일반 체크 패턴을 포함하는 패턴 박스를 이용하여 캘리브레이션을 수행할 수도 있지만, 광각 영상들 각각의 패턴에 대한 좌표 정보 또는 인덱스 정보를 빠르게 검출하기 위하여 도 2c에 도시된 것과 같은 에이프릴태그를 포함하는 패턴의 패턴 박스를 이용할 수 있다. 이하, 본 발명에 대해서는 에이프릴태그를 포함하는 광각 영상들을 이용하여 설명한다.3 shows an exemplary view of wide-angle images taken by each of the wide-angle cameras, and shows wide-angle images taken when the pattern box is formed in a general check pattern without an April tag, including a general check pattern Calibration can also be performed using a pattern box that have. Hereinafter, the present invention will be described using wide-angle images including April tags.
단계 S110에 의해 광각 카메라들 각각에 의해 촬영된 광각 영상들이 획득되면, 촬영된 광각 영상들 각각에 포함된 패턴의 분석을 통해 각 패턴의 좌표 정보를 검출한다(S120).When wide-angle images captured by each of the wide-angle cameras are obtained in step S110, coordinate information of each pattern is detected through analysis of patterns included in each of the captured wide-angle images (S120).
예컨대, 도 4a에 도시된 바와 같이 CAM1에 의해 촬영된 광각 영상에 포함된 패턴의 에이프릴태그를 분석함으로써, 상이한 에이프릴태그들 각각을 포함하는 체크에 대한 인덱스 또는 좌표 정보를 검출한다. 여기서, 체크에 대한 인덱스 또는 좌표 정보는 체크 각각의 꼭지점에 대한 인덱스 또는 좌표 정보일 수 있다. 마찬가지로, 도 4b에 도시된 바와 같이, CAM2 내지 CAM6 각각에 의해 촬영된 광각 영상들 각각에 포함된 패턴의 에이프릴태그를 분석함으로써, 상이한 에이프릴태그들 각각을 포함하는 체크에 대한 인덱스 또는 좌표 정보를 검출할 수 있다.For example, as shown in FIG. 4A , by analyzing April tags of a pattern included in a wide-angle image captured by CAM1, index or coordinate information for a check including each of the different April tags is detected. Here, the index or coordinate information for the check may be index or coordinate information for each vertex of the check. Similarly, as shown in FIG. 4B, by analyzing the April tag of the pattern included in each of the wide-angle images captured by each of CAM2 to CAM6, index or coordinate information for a check including each of the different April tags is detected. can do.
물론, 단계 S120은 체크 패턴이 일반 체크 패턴인 경우 각 면이 겹치는 부분을 검출한 후 각 패턴의 크기 또는 형태 등을 분석하여 각 패턴의 인덱스 또는 좌표 정보를 검출할 수도 있다.Of course, in step S120, when the check pattern is a general check pattern, after detecting a portion where each surface overlaps, the size or shape of each pattern is analyzed to detect index or coordinate information of each pattern.
단계 S120에 의해 광각 영상들 각각에 포함된 패턴의 분석을 통해 각 패턴의 좌표 정보가 검출되면, 360도 카메라에 대해 미리 설정된 카메라 모델에 기초하여 광각 카메라들 각각의 카메라 센서에 프로젝션되는 각 패턴의 좌표 정보를 계산한다(S130).When coordinate information of each pattern is detected through analysis of the pattern included in each of the wide-angle images by step S120, based on the camera model preset for the 360-degree camera, each pattern projected on the camera sensor of each of the wide-angle cameras Coordinate information is calculated (S130).
여기서, 360도 카메라의 카메라 모델은 구형 카메라 모델(spherical camera model), 제네릭 카메라 모델(generic camera model) 등과 같은 360도 카메라에 대한 다양한 종류의 카메라 모델을 포함할 수 있다. 예컨대, 본 발명의 방법은 연구 논문(Shigang Li, "Monitoring Around a Vehicle by a Spherical Image Sensor", IEEE TITS 2006)에서 사용한 구형 카메라 모델을 사용할 수도 있고, 또 다른 연구 논문(Kannala, J., & Brandt, S. S. (2006). A generic camera model and calibration method for conventional, wide-angle, and fish-eye lenses. IEEE Transactions on Pattern Analysis and Machine Intelligence, 28(8), 1335-1340.)에서 사용한 제네릭 카메라 모델을 사용할 수도 있다. 물론, 본 발명은 사용하는 카메라 모델에 따라 이용하는 변수들이 달라질 수 있으며, 이와 같이 카메라 모델에 따라 변수들이 달라질 수 있다는 것은 이 기술 분야에 종사하는 당업자에게 있어서 자명하기에 그 상세한 설명은 생략한다.Here, the camera model of the 360-degree camera may include various types of camera models for the 360-degree camera, such as a spherical camera model and a generic camera model. For example, the method of the present invention may use a spherical camera model used in a research paper (Shigang Li, "Monitoring Around a Vehicle by a Spherical Image Sensor", IEEE TITS 2006), or another research paper (Kannala, J., & Brandt, SS (2006), A generic camera model and calibration method for conventional, wide-angle, and fish-eye lenses. You can also use models. Of course, in the present invention, variables used may vary depending on the camera model used, and it is obvious to those skilled in the art that the variables may vary depending on the camera model as described above, and thus detailed description thereof will be omitted.
나아가, 본 발명에 따른 방법은 광각 카메라들 각각의 초기 내부 파라미터들과 초기 외부 파라미터들을 미리 설정된 방법 예를 들어, Zhang's 방법을 이용하여 설정 또는 획득할 수 있고, 단계 S130은 이렇게 획득된 광각 카메라들 각각의 초기 내부 파라미터들과 초기 외부 파라미터들 그리고 카메라 모델을 이용하여 광각 카메라들 각각의 센서에 프로젝션되는 각 패턴의 좌표 정보를 계산할 수도 있다.Furthermore, in the method according to the present invention, initial internal parameters and initial external parameters of each of the wide-angle cameras may be set or obtained using a preset method, for example, Zhang's method, and step S130 is performed with the wide-angle cameras thus obtained. Coordinate information of each pattern projected to each sensor of each of the wide-angle cameras may be calculated using respective initial internal parameters, initial external parameters, and a camera model.
이 때, Zhang's 방법은 각 패턴의 점들에 대해 미리 설정된 인덱스 또는 3차원 좌표 정보와 광각 카메라들 각각에 의해 촬영된 광각 영상들에 포함된 패턴의 2차원 좌표 정보를 입력으로 하여 광각 카메라들 각각의 초기 내부 파라미터들과 초기 외부 파라미터들을 획득할 수 있다. 물론, 본 발명에서 광각 카메라들 각각의 초기 파라미터를 획득하는 방법은 상술한 Zhang's 방법으로 한정하지 않으며, 카메라의 초기 파라미터를 획득할 수 있는 모든 방법을 이용할 수 있다.At this time, the Zhang's method uses as input the index or 3D coordinate information preset for the points of each pattern and the 2D coordinate information of the pattern included in the wide-angle images photographed by each of the wide-angle cameras as input to each of the wide-angle cameras. Initial internal parameters and initial external parameters may be obtained. Of course, in the present invention, the method of obtaining the initial parameters of each of the wide-angle cameras is not limited to the above-described Zhang's method, and any method capable of obtaining the initial parameters of the camera may be used.
단계 S130에서 카메라 모델을 이용하여 광각 카메라들 각각의 센서에 프로젝션되는 각 패턴의 좌표 정보가 계산되면, 단계 S120에 의해 검출된 광각 영상들 각각에 포함된 패턴의 좌표 정보와 단계 S130에의 계산된 각 패턴의 좌표 정보에 기초하여 광각 영상들 각각의 내부 파라미터들과 외부 파라미터들을 캘리브레이션한다(S140). 즉, 단계 S140은 단계 S120에서 검출된 각 패턴의 좌표 정보와 단계 S130에서 계산된 각 패턴의 좌표 정보를 이용하여 캘리브레이션을 수행함으로써, 광각 카메라들 각각의 내부 파라미터들과 외부 파라미터들을 획득한다.When the coordinate information of each pattern projected to the sensor of each of the wide-angle cameras is calculated using the camera model in step S130, the coordinate information of the pattern included in each of the wide-angle images detected in step S120 and the calculated angle in step S130 Based on the coordinate information of the pattern, internal parameters and external parameters of each of the wide-angle images are calibrated ( S140 ). That is, in step S140, the internal parameters and external parameters of each of the wide-angle cameras are obtained by performing calibration using the coordinate information of each pattern detected in step S120 and the coordinate information of each pattern calculated in step S130.
여기서, 단계 S140은 단계 S120에서 검출된 각 패턴의 좌표 정보와 단계 S130에서 계산된 각 패턴의 좌표 정보를 이용한 최적화 문제를 해결함으로써, 광각 카메라들 각각의 내부 파라미터들과 외부 파라미터들을 획득할 수 있으며, 구체적으로 단계 S120에서 검출된 각 패턴의 좌표 정보와 단계 S130에서 계산된 각 패턴의 좌표 정보가 같아지도록 최적화 문제를 해결함으로써, 광각 카메라들 각각의 내부 파라미터들과 외부 파라미터들을 획득할 수 있다. 또한, 단계 S140은 단계 S120에서 검출된 각 패턴의 좌표 정보와 단계 S130에서 계산된 각 패턴의 좌표 정보를 이용한 리프로젝션 에러(reprojection errors)를 최소화함으로써, 광각 카메라들 각각의 내부 파라미터들과 외부 파라미터들을 획득할 수 있다.Here, in step S140, by solving the optimization problem using the coordinate information of each pattern detected in step S120 and the coordinate information of each pattern calculated in step S130, internal parameters and external parameters of each of the wide-angle cameras can be obtained. , specifically, by solving the optimization problem so that the coordinate information of each pattern detected in step S120 and the coordinate information of each pattern calculated in step S130 are the same, internal parameters and external parameters of each of the wide-angle cameras can be obtained. In addition, step S140 minimizes reprojection errors using the coordinate information of each pattern detected in step S120 and the coordinate information of each pattern calculated in step S130, thereby minimizing internal parameters and external parameters of each of the wide-angle cameras. can be obtained
이 때, 단계 S140은 광각 카메라들 각각에 대하여 계산된 좌표 정보와 검출된 좌표 정보가 같아지도록 최적화 문제를 해결하여 1차 캘리브레이션을 수행하고, 광각 카메라들 중 이웃하는 광각 카메라들에 의해 오버랩된 영역에 대하여 계산된 좌표 정보와 검출된 좌표 정보가 같아지도록 최적화 문제를 해결하여 2차 캘리브레이션을 수행함으로써, 광각 카메라들 각각의 내부 파라미터들과 외부 파라미터들을 획득할 수 있다.At this time, in step S140, the first calibration is performed by solving the optimization problem so that the coordinate information calculated for each of the wide-angle cameras and the detected coordinate information are the same, and an area overlapped by neighboring wide-angle cameras among the wide-angle cameras By solving the optimization problem and performing secondary calibration so that the calculated coordinate information and the detected coordinate information are the same, internal parameters and external parameters of each of the wide-angle cameras can be obtained.
즉, 단계 S140은 광각 카메라들 각각에 대하여 계산된 좌표 정보와 검출된 좌표 정보가 같아지도록 아래 <수학식 1>의 최적화 문제를 해결함으로써, 1차 캘리브레이션을 통해 광각 카메라들 각각의 내부 파라미터들과 외부 파라미터들을 획득한다.That is, in step S140, by solving the optimization problem of <
[수학식 1][Equation 1]
여기서, params는 광각 카메라의 내부 파라미터들과 외부 파라미터들을 의미하고, Xi는 패턴 박스 내에서 각 패턴에 대해 미리 설정된 3차원의 절대 좌표를 의미하며, pi는 촬영된 광각 영상들의 각 패턴에 대한 2차원 좌표를 의미하고, (u, v)는 카메라 모델에 의해 계산된 각 패턴의 좌표 정보를 의미하며, (s, t)는 광각 영상들의 분석을 통해 검출된 각 패턴의 좌표 정보를 의미하고, M은 광각 카메라 각각에 의해 촬영된 패턴의 수를 의미할 수 있다. 물론, params는 본 발명에서 사용하는 카메라 모델에 따라 달라질 수 있다.Here, params means internal parameters and external parameters of the wide-angle camera, X i means three-dimensional absolute coordinates preset for each pattern in the pattern box, and p i means each pattern of the captured wide-angle images. means two-dimensional coordinates, (u, v) means coordinate information of each pattern calculated by the camera model, and (s, t) means coordinate information of each pattern detected through analysis of wide-angle images and M may mean the number of patterns photographed by each wide-angle camera. Of course, params may vary depending on the camera model used in the present invention.
상기 수학식 1을 이용한 1차 캘리브레이션을 통해 광각 카메라들 각각의 내부 파라미터들과 외부 파라미터들이 획득되면, 광각 카메라들 중 이웃하는 광각 카메라들에 의해 오버랩된 영역에 대하여 계산된 좌표 정보와 검출된 좌표 정보가 같아지도록 아래 <수학식 2>의 최적화 문제를 해결함으로써, 2차 캘리브레이션을 통해 광각 카메라들 각각의 파라미터들 예를 들어, 외부 파라미터들을 정밀하게 캘리브레이션할 수 있다.When the internal parameters and external parameters of each of the wide-angle cameras are obtained through the first
[수학식 2][Equation 2]
여기서, params는 광각 카메라들 각각의 외부 파라미터들을 의미하고, Xi는 패턴 박스 내에서 이웃하는 광각 카메라들 간 오버랩되는 각 패턴에 대해 미리 설정된 3차원의 절대 좌표를 의미하며, pi는 촬영된 광각 영상들에서 이웃하는 광각 카메라들 간 오버랩되는 각 패턴에 대한 2차원 좌표를 의미하고, (u, v)는 카메라 모델에 의해 계산된 이웃하는 광각 카메라들 간 오버랩되는 각 패턴의 좌표 정보를 의미하며, (s, t)는 광각 영상들의 분석을 통해 검출된 이웃하는 광각 카메라들 간 오버랩되는 각 패턴의 좌표 정보를 의미하고, M은 이웃하는 광각 카메라들 간 오버랩되는 패턴들 예컨대, 에이프릴태그를 포함하는 체크 패턴들의 수를 의미하며, N은 광각 카메라들의 수를 의미할 수 있다.Here, params means external parameters of each of the wide-angle cameras, X i means the three-dimensional absolute coordinates preset for each overlapping pattern between neighboring wide-angle cameras in the pattern box, and p i is the In wide-angle images, it means two-dimensional coordinates for each overlapping pattern between neighboring wide-angle cameras, and (u, v) means coordinate information of each overlapping pattern between neighboring wide-angle cameras calculated by the camera model. and (s, t) denotes coordinate information of each overlapping pattern between neighboring wide-angle cameras detected through analysis of wide-angle images, and M denotes overlapping patterns between neighboring wide-angle cameras, for example, the April tag. It means the number of check patterns included, and N may mean the number of wide-angle cameras.
단계 S140은 상술한 두 단계의 최적화 문제를 해결함으로써, 광각 카메라들 각각을 캘리브레이션하고, 이를 통해 광각 카메라들 각각의 내부 파라미터들과 외부 파라미터들을 획득할 수 있다.In step S140, each of the wide-angle cameras is calibrated by solving the above-described two-step optimization problem, and through this, internal parameters and external parameters of each of the wide-angle cameras can be obtained.
도 6은 본 발명에 의해 캘리브레이션 결과에 대한 일 예시도를 나타낸 것으로, CAM1에 대한 캘리브레이션 결과(도 6a)와 CAM2 내지 CAM6에 대한 캘리브레이션 결과(도 6b)를 나타낸 것이다. 도 6에 도시된 바와 같이, 본 발명의 방법에 의해 캘리브레이션 결과 광각 카메라에 의해 촬영된 광각 영상들의 분석을 통해 검출된 좌표 정보와 카메라 모델을 이용하여 획득된 좌표 정보가 정확하게 일치하는 것을 알 수 있다.6 shows an exemplary view of a calibration result according to the present invention, and shows a calibration result for CAM1 ( FIG. 6a ) and a calibration result for CAM2 to CAM6 ( FIG. 6b ). As shown in FIG. 6 , as a result of the calibration by the method of the present invention, it can be seen that the coordinate information detected through analysis of the wide-angle images captured by the wide-angle camera and the coordinate information obtained using the camera model exactly match. .
이와 같이, 본 발명의 실시예들에 따른 방법은 정육면체의 패턴 박스의 각 면을 체크 패턴 예를 들어, 에이프릴태그를 포함하는 체크 패턴들로 형성하고, 이러한 패턴 박스 내에 형성된 체크 패턴들을 이용하여 360도 카메라를 구성하는 광각 카메라들 각각의 내부 파라미터들과 외부 파라미터들을 자동으로 획득할 수 있으며, 에이프릴태그를 이용한 체크 패턴을 이용하여 캘리브레이션을 빠르게 수행할 수 있다.As such, in the method according to the embodiments of the present invention, each side of the pattern box of the cube is formed with a check pattern, for example, check patterns including an April tag, and 360 degrees using the check patterns formed in the pattern box. It is possible to automatically acquire internal parameters and external parameters of each of the wide-angle cameras constituting the camera, and calibration can be performed quickly by using a check pattern using an April tag.
또한, 본 발명의 실시예들에 따른 방법은 패턴 박스를 이용하여 촬영한 광각 영상들의 영상 처리와 미리 설정된 카메라 모델을 이용하여 획득된 각 패턴의 좌표 정보를 포함하는 최적화 문제를 해결함으로써, 360도 카메라를 구성하는 광각 카메라들 각각의 내부 파라미터들과 외부 파라미터들을 자동으로 획득할 수 있다. In addition, the method according to embodiments of the present invention solves an optimization problem including image processing of wide-angle images captured using a pattern box and coordinate information of each pattern obtained using a preset camera model, thereby providing 360 degrees Internal parameters and external parameters of each of the wide-angle cameras constituting the camera may be automatically acquired.
도 7은 본 발명의 일 실시예에 따른 360도 카메라 캘리브레이션 장치에 대한 구성을 나타낸 것으로, 도 1 내지 도 6의 방법을 수행하는 장치에 대한 개념적인 구성을 나타낸 것이다.7 is a diagram illustrating a configuration of a 360-degree camera calibration apparatus according to an embodiment of the present invention, and shows a conceptual configuration of an apparatus performing the method of FIGS. 1 to 6 .
도 7을 참조하면, 본 발명의 일 실시예에 따른 360도 카메라 캘리브레이션 장치(700)는 촬영부(710), 설정부(720), 검출부(730), 계산부(740) 및 캘리브레이션부(750)를 포함한다.Referring to FIG. 7 , a 360-degree
촬영부(710)는 미리 설정된 패턴을 가지는 패턴 박스 내에서 360도 카메라의 광각 카메라들을 이용하여 패턴 박스 내의 패턴에 대한 광각 영상들을 촬영한다.The photographing
설정부(720)는 광각 카메라들 각각의 초기 내부 파라미터들과 초기 외부 파라미터들을 미리 설정된 방법 예를 들어, Zhang's 방법을 이용하여 설정 또는 획득한다.The
여기서, 설정부(720)는 각 패턴의 점들에 대해 미리 설정된 인덱스 또는 3차원 좌표 정보와 광각 카메라들 각각에 의해 촬영된 광각 영상들에 포함된 패턴의 2차원 좌표 정보를 이용한 Zhang's 방법을 통해 광각 카메라들 각각의 초기 내부 파라미터들과 초기 외부 파라미터들을 획득할 수 있다.Here, the
검출부(730)는 광각 카메라들 각각에 의해 촬영된 광각 영상들이 획득되면, 촬영된 광각 영상들 각각에 포함된 패턴의 분석을 통해 각 패턴의 좌표 정보를 검출한다.When the wide-angle images captured by each of the wide-angle cameras are obtained, the
여기서, 검출부(730)는 광각 카메라들 각각에 의해 촬영된 광각 영상들에 포함된 패턴의 에이프릴태그를 분석함으로써, 상이한 에이프릴태그들 각각을 포함하는 체크에 대한 인덱스 또는 좌표 정보를 검출할 수 있다.Here, the
계산부(740)는 360도 카메라에 대해 미리 설정된 카메라 모델에 기초하여 광각 카메라들 각각의 카메라 센서에 프로젝션되는 각 패턴의 좌표 정보를 계산한다.The
여기서, 360도 카메라의 카메라 모델은 구형 카메라 모델(spherical camera model), 제네릭 카메라 모델(generic camera model) 등과 같은 360도 카메라에 대한 다양한 종류의 카메라 모델을 포함할 수 있다.Here, the camera model of the 360-degree camera may include various types of camera models for the 360-degree camera, such as a spherical camera model and a generic camera model.
캘리브레이션부(750)는 검출부(730)에 의해 검출된 광각 영상들 각각에 포함된 패턴의 좌표 정보와 계산부(740)에 의해 계산된 각 패턴의 좌표 정보에 기초하여 광각 영상들 각각의 내부 파라미터들과 외부 파라미터들을 캘리브레이션한다The
여기서, 캘리브레이션부(750)는 검출부(730)에 의해 검출된 광각 영상들 각각에 포함된 패턴의 좌표 정보와 계산부(740)에 의해 계산된 각 패턴의 좌표 정보를 이용한 최적화 문제를 해결함으로써, 광각 카메라들 각각의 내부 파라미터들과 외부 파라미터들을 획득할 수 있으며, 검출된 각 패턴의 좌표 정보와 계산된 각 패턴의 좌표 정보가 같아지도록 최적화 문제를 해결함으로써, 광각 카메라들 각각의 내부 파라미터들과 외부 파라미터들을 획득할 수 있다.Here, the
나아가, 캘리브레이션부(750)는 검출부(730)에 의해 검출된 광각 영상들 각각에 포함된 패턴의 좌표 정보와 계산부(740)에 의해 계산된 각 패턴의 좌표 정보를 이용한 리프로젝션 에러(reprojection errors)를 최소화함으로써, 광각 카메라들 각각의 내부 파라미터들과 외부 파라미터들을 획득할 수 있다.Furthermore, the
이 때, 캘리브레이션부(750)는 광각 카메라들 각각에 대하여 계산된 좌표 정보와 검출된 좌표 정보가 같아지도록 최적화 문제를 해결하여 1차 캘리브레이션을 수행하고, 광각 카메라들 중 이웃하는 광각 카메라들에 의해 오버랩된 영역에 대하여 계산된 좌표 정보와 검출된 좌표 정보가 같아지도록 최적화 문제를 해결하여 2차 캘리브레이션을 수행함으로써, 광각 카메라들 각각의 내부 파라미터들과 외부 파라미터들을 획득할 수 있다.At this time, the
비록, 도 7의 장치에서 그 설명이 생략되었더라도, 도 7을 구성하는 각 구성 수단은 도 1 내지 도 6에서 설명한 모든 내용을 포함할 수 있으며, 이는 이 기술 분야에 종사하는 당업자에게 있어서 자명하다.Although the description of the device of FIG. 7 is omitted, each component constituting FIG. 7 may include all the contents described with reference to FIGS. 1 to 6 , which is apparent to those skilled in the art.
또한, 상술한 본 발명의 실시예에 따른 방법과 장치는 카메라 또는 카메라 장치에서 수행되거나 구성될 수 있다.In addition, the method and apparatus according to the embodiment of the present invention described above may be performed or configured in a camera or a camera device.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 컨트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.The device described above may be implemented as a hardware component, a software component, and/or a combination of the hardware component and the software component. For example, devices and components described in the embodiments may include, for example, a processor, a controller, an arithmetic logic unit (ALU), a digital signal processor, a microcomputer, a field programmable array (FPA), It may be implemented using one or more general purpose or special purpose computers, such as a programmable logic unit (PLU), microprocessor, or any other device capable of executing and responding to instructions. The processing device may execute an operating system (OS) and one or more software applications running on the operating system. The processing device may also access, store, manipulate, process, and generate data in response to execution of the software. For convenience of understanding, although one processing device is sometimes described as being used, one of ordinary skill in the art will recognize that the processing device includes a plurality of processing elements and/or a plurality of types of processing elements. It can be seen that can include For example, the processing device may include a plurality of processors or one processor and one controller. Other processing configurations are also possible, such as parallel processors.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치에 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.The software may comprise a computer program, code, instructions, or a combination of one or more thereof, which configures a processing device to operate as desired or is independently or collectively processed You can command the device. The software and/or data may be any kind of machine, component, physical device, virtual equipment, computer storage medium or device, to be interpreted by or to provide instructions or data to the processing device. may be embodied in The software may be distributed over networked computer systems, and stored or executed in a distributed manner. Software and data may be stored in one or more computer-readable recording media.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. The method according to the embodiment may be implemented in the form of program instructions that can be executed through various computer means and recorded in a computer-readable medium. The computer-readable medium may include program instructions, data files, data structures, etc. alone or in combination. The program instructions recorded on the medium may be specially designed and configured for the embodiment, or may be known and available to those skilled in the art of computer software. Examples of the computer readable recording medium include magnetic media such as hard disks, floppy disks and magnetic tapes, optical media such as CD-ROMs and DVDs, and magnetic media such as floppy disks. - includes magneto-optical media, and hardware devices specially configured to store and execute program instructions, such as ROM, RAM, flash memory, and the like. Examples of program instructions include not only machine language codes such as those generated by a compiler, but also high-level language codes that can be executed by a computer using an interpreter or the like.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.As described above, although the embodiments have been described with reference to the limited embodiments and drawings, various modifications and variations are possible from the above description by those skilled in the art. For example, the described techniques are performed in a different order than the described method, and/or the described components of the system, structure, apparatus, circuit, etc. are combined or combined in a different form than the described method, or other components Or substituted or substituted by equivalents may achieve an appropriate result.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.Therefore, other implementations, other embodiments, and equivalents to the claims are also within the scope of the following claims.
Claims (16)
상기 촬영된 광각 영상들 각각에 포함된 패턴의 분석을 통해 각 패턴의 좌표 정보를 검출하는 단계;
상기 360도 카메라에 대해 미리 설정된 카메라 모델에 기초하여 상기 광각 카메라들 각각의 센서에 프로젝션되는 각 패턴의 좌표 정보를 계산하는 단계; 및
상기 계산된 좌표 정보와 상기 검출된 좌표 정보에 기초하여 상기 광각 카메라들 각각의 내부 파라미터들(intrinsic parameters)과 외부 파라미터들(extrinsic parameters)을 캘리브레이션하는 단계
를 포함하며,
상기 캘리브레이션하는 단계는
상기 광각 카메라들 각각에 대하여 상기 계산된 좌표 정보와 상기 검출된 좌표 정보가 같아지도록 최적화 문제를 해결하여 1차 캘리브레이션을 수행하고, 상기 광각 카메라들 중 이웃하는 광각 카메라들에 의해 오버랩된 영역에 대하여 상기 계산된 좌표 정보와 상기 검출된 좌표 정보가 같아지도록 최적화 문제를 해결하여 2차 캘리브레이션을 수행함으로써, 상기 광각 카메라들 각각의 내부 파라미터들과 외부 파라미터들을 획득하는 360도 카메라 캘리브레이션 방법.
photographing wide-angle images of the pattern in the pattern box by using wide-angle cameras disposed in each of preset directions of the 360-degree camera in the pattern box;
detecting coordinate information of each pattern through analysis of a pattern included in each of the photographed wide-angle images;
calculating coordinate information of each pattern projected to the sensor of each of the wide-angle cameras based on a camera model preset for the 360-degree camera; and
calibrating intrinsic parameters and extrinsic parameters of each of the wide-angle cameras based on the calculated coordinate information and the detected coordinate information
includes,
The calibration step is
For each of the wide-angle cameras, the first calibration is performed by solving the optimization problem so that the calculated coordinate information and the detected coordinate information are the same, and, among the wide-angle cameras, the area overlapped by the neighboring wide-angle cameras A 360-degree camera calibration method for acquiring internal parameters and external parameters of each of the wide-angle cameras by performing secondary calibration by solving an optimization problem so that the calculated coordinate information and the detected coordinate information are the same.
상기 패턴 박스는
좌표 정보에 대응하는 상이한 태그를 포함하는 체크 패턴들을 포함하고,
상기 촬영하는 단계는
상기 태그를 포함하는 체크 패턴들에 대한 광각 영상들을 촬영하는 것을 특징으로 하는 360도 카메라 캘리브레이션 방법.
According to claim 1,
The pattern box
check patterns including different tags corresponding to coordinate information,
The filming step
A 360-degree camera calibration method, characterized in that taking wide-angle images for the check patterns including the tag.
상기 광각 카메라들 각각의 초기 내부 파라미터들과 초기 외부 파라미터들을 미리 설정된 방법을 이용하여 설정하는 단계
를 더 포함하고,
상기 계산하는 단계는
상기 카메라 모델 그리고 상기 광각 카메라들 각각의 초기 내부 파라미터들과 초기 외부 파라미터들을 이용하여 상기 광각 카메라들 각각의 센서에 프로젝션되는 각 패턴의 좌표 정보를 계산하는 것을 특징으로 하는 360도 카메라 캘리브레이션 방법.
According to claim 1,
Setting initial internal parameters and initial external parameters of each of the wide-angle cameras using a preset method
further comprising,
The calculating step is
The 360-degree camera calibration method, characterized in that the coordinate information of each pattern projected to the sensor of each of the wide-angle cameras is calculated using the camera model and initial internal parameters and initial external parameters of each of the wide-angle cameras.
상기 촬영된 광각 영상들 각각에 포함된 패턴의 분석을 통해 각 패턴의 좌표 정보를 검출하는 검출부;
상기 360도 카메라에 대해 미리 설정된 카메라 모델에 기초하여 상기 광각 카메라들 각각의 센서에 프로젝션되는 각 패턴의 좌표 정보를 계산하는 계산부; 및
상기 계산된 좌표 정보와 상기 검출된 좌표 정보에 기초하여 상기 광각 카메라들 각각의 내부 파라미터들(intrinsic parameters)과 외부 파라미터들(extrinsic parameters)을 캘리브레이션하는 캘리브레이션부
를 포함하며,
상기 캘리브레이션부는
상기 광각 카메라들 각각에 대하여 상기 계산된 좌표 정보와 상기 검출된 좌표 정보가 같아지도록 최적화 문제를 해결하여 1차 캘리브레이션을 수행하고, 상기 광각 카메라들 중 이웃하는 광각 카메라들에 의해 오버랩된 영역에 대하여 상기 계산된 좌표 정보와 상기 검출된 좌표 정보가 같아지도록 최적화 문제를 해결하여 2차 캘리브레이션을 수행함으로써, 상기 광각 카메라들 각각의 내부 파라미터들과 외부 파라미터들을 획득하는 360도 카메라 캘리브레이션 장치.
a photographing unit for photographing wide-angle images of the pattern in the pattern box by using wide-angle cameras disposed in each of preset directions of the 360-degree camera within the pattern box;
a detection unit configured to detect coordinate information of each pattern through analysis of a pattern included in each of the photographed wide-angle images;
a calculation unit for calculating coordinate information of each pattern projected to the sensor of each of the wide-angle cameras based on a camera model preset for the 360-degree camera; and
A calibration unit that calibrates intrinsic parameters and extrinsic parameters of each of the wide-angle cameras based on the calculated coordinate information and the detected coordinate information
includes,
The calibration unit
For each of the wide-angle cameras, the first calibration is performed by solving the optimization problem so that the calculated coordinate information and the detected coordinate information are the same, and, among the wide-angle cameras, the area overlapped by the neighboring wide-angle cameras A 360-degree camera calibration apparatus for acquiring internal parameters and external parameters of each of the wide-angle cameras by performing secondary calibration by solving an optimization problem so that the calculated coordinate information and the detected coordinate information are the same.
상기 패턴 박스는
좌표 정보에 대응하는 상이한 태그를 포함하는 체크 패턴들을 포함하고,
상기 촬영부는
상기 태그를 포함하는 체크 패턴들에 대한 광각 영상들을 촬영하는 것을 특징으로 하는 360도 카메라 캘리브레이션 장치.
8. The method of claim 7,
The pattern box
check patterns including different tags corresponding to coordinate information,
the filming unit
360-degree camera calibration apparatus, characterized in that for taking wide-angle images for the check patterns including the tag.
상기 광각 카메라들 각각의 초기 내부 파라미터들과 초기 외부 파라미터들을 미리 설정된 방법을 이용하여 설정하는 설정부
를 더 포함하고,
상기 계산부는
상기 카메라 모델 그리고 상기 광각 카메라들 각각의 초기 내부 파라미터들과 초기 외부 파라미터들을 이용하여 상기 광각 카메라들 각각의 센서에 프로젝션되는 각 패턴의 좌표 정보를 계산하는 것을 특징으로 하는 360도 카메라 캘리브레이션 장치.
8. The method of claim 7,
A setting unit that sets initial internal parameters and initial external parameters of each of the wide-angle cameras using a preset method
further comprising,
the calculator
360-degree camera calibration apparatus, characterized in that the coordinate information of each pattern projected to the sensor of each of the wide-angle cameras is calculated using the camera model and initial internal parameters and initial external parameters of each of the wide-angle cameras.
상기 촬영된 광각 영상들 각각에 포함된 패턴의 분석을 통해 각 패턴의 좌표 정보를 검출하는 검출부;
미리 설정된 카메라 모델에 기초하여 상기 광각 카메라들 각각의 센서에 프로젝션되는 각 패턴의 좌표 정보를 계산하는 계산부; 및
상기 계산된 좌표 정보와 상기 검출된 좌표 정보에 기초하여 상기 광각 카메라들 각각의 내부 파라미터들(intrinsic parameters)과 외부 파라미터들(extrinsic parameters)을 캘리브레이션하는 캘리브레이션부
를 포함하며,
상기 캘리브레이션부는
상기 광각 카메라들 각각에 대하여 상기 계산된 좌표 정보와 상기 검출된 좌표 정보가 같아지도록 최적화 문제를 해결하여 1차 캘리브레이션을 수행하고, 상기 광각 카메라들 중 이웃하는 광각 카메라들에 의해 오버랩된 영역에 대하여 상기 계산된 좌표 정보와 상기 검출된 좌표 정보가 같아지도록 최적화 문제를 해결하여 2차 캘리브레이션을 수행함으로써, 상기 광각 카메라들 각각의 내부 파라미터들과 외부 파라미터들을 획득하는 360도 카메라 장치.
a photographing unit for photographing wide-angle images of a pattern in the pattern box using wide-angle cameras arranged in preset directions within the pattern box;
a detection unit configured to detect coordinate information of each pattern through analysis of a pattern included in each of the photographed wide-angle images;
a calculation unit for calculating coordinate information of each pattern projected to each sensor of the wide-angle cameras based on a preset camera model; and
A calibration unit that calibrates intrinsic parameters and extrinsic parameters of each of the wide-angle cameras based on the calculated coordinate information and the detected coordinate information
includes,
The calibration unit
For each of the wide-angle cameras, the first calibration is performed by solving the optimization problem so that the calculated coordinate information and the detected coordinate information are the same, and, among the wide-angle cameras, the area overlapped by the neighboring wide-angle cameras A 360-degree camera device for acquiring internal parameters and external parameters of each of the wide-angle cameras by performing secondary calibration by solving an optimization problem so that the calculated coordinate information and the detected coordinate information are the same.
상기 패턴 박스는
좌표 정보에 대응하는 상이한 태그를 포함하는 체크 패턴들을 포함하고,
상기 촬영부는
상기 태그를 포함하는 체크 패턴들에 대한 광각 영상들을 촬영하는 것을 특징으로 하는 360도 카메라 장치.
14. The method of claim 13,
The pattern box
check patterns including different tags corresponding to coordinate information,
the filming unit
360-degree camera device, characterized in that for taking wide-angle images for the check patterns including the tag.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190084592A KR102295857B1 (en) | 2019-07-12 | 2019-07-12 | Calibration Method for Real-Time Spherical 3D 360 Imaging and Apparatus Therefor |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190084592A KR102295857B1 (en) | 2019-07-12 | 2019-07-12 | Calibration Method for Real-Time Spherical 3D 360 Imaging and Apparatus Therefor |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20210007701A KR20210007701A (en) | 2021-01-20 |
| KR102295857B1 true KR102295857B1 (en) | 2021-08-31 |
Family
ID=74304975
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020190084592A KR102295857B1 (en) | 2019-07-12 | 2019-07-12 | Calibration Method for Real-Time Spherical 3D 360 Imaging and Apparatus Therefor |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102295857B1 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20220117399A (en) | 2021-02-16 | 2022-08-24 | (주)컬처릿 | Online motion correction system and its method |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11870973B2 (en) * | 2021-07-27 | 2024-01-09 | Deere & Company | Camera calibration tool |
-
2019
- 2019-07-12 KR KR1020190084592A patent/KR102295857B1/en active IP Right Grant
Non-Patent Citations (2)
| Title |
|---|
| Charuco Board-Based Omnidirectional Camera Calibration Method, Electronics, 2018.12.* |
| 최적 패턴 구조를 사용한 전방위 카메라 캘리브레이션, 한국통신학회 논문집, 2019.01.* |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20220117399A (en) | 2021-02-16 | 2022-08-24 | (주)컬처릿 | Online motion correction system and its method |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20210007701A (en) | 2021-01-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9916689B2 (en) | Apparatus and method for estimating camera pose | |
| US9858670B2 (en) | Information processing apparatus and method thereof | |
| CN106530358A (en) | Method for calibrating PTZ camera by using only two scene images | |
| KR102354299B1 (en) | Camera calibration method using single image and apparatus therefor | |
| US20200177866A1 (en) | Calibration apparatus, chart for calibration, chart pattern generation apparatus, and calibration method | |
| TW201904643A (en) | Control device, flight vehicle and recording medium | |
| KR102303779B1 (en) | Method and apparatus for detecting an object using detection of a plurality of regions | |
| KR102295857B1 (en) | Calibration Method for Real-Time Spherical 3D 360 Imaging and Apparatus Therefor | |
| KR20230000585A (en) | Method and apparatus for calibrating multiple sensors | |
| KR101785202B1 (en) | Automatic Calibration for RGB-D and Thermal Sensor Fusion and Method thereof | |
| WO2022147655A1 (en) | Positioning method and apparatus, spatial information acquisition method and apparatus, and photographing device | |
| KR102270922B1 (en) | A method for performing calibration using measured data without an assumed calibration model and a three-dimensional scanner calibration system for performing the method | |
| WO2012105228A2 (en) | Imaging apparatus and imaging condition setting method and program | |
| KR102014634B1 (en) | Multilayerbased coverage path planning algorithm method of unmanned aerial vehicle for three dimensional structural inspection and the system thereof | |
| KR101575934B1 (en) | Apparatus and method for motion capture using inertial sensor and optical sensor | |
| KR101436695B1 (en) | Apparatus and method for detecting finger using depth image | |
| KR102310958B1 (en) | Wide viewing angle stereo camera apparatus and depth image processing method using the same | |
| JP7298687B2 (en) | Object recognition device and object recognition method | |
| KR102260044B1 (en) | Method and apparatus for calibrating cameras | |
| KR20170120946A (en) | Method and apparatus for deducting information about input apparatus using marker of the input apparatus | |
| KR102269088B1 (en) | Apparatus and method for tracking pupil | |
| KR20180107916A (en) | Method and device for performing projection using black and white using fixed pattern mask | |
| KR20180107917A (en) | Method and device for usign pattern and inverse pattern corresponding differ polarized light | |
| JP7179243B2 (en) | Information processing device, learning data creation system, learning data creation method, and learning data creation program | |
| KR102412275B1 (en) | Image Distortion Correction Method and Apparatus in Measurement of Three Dimensional Shape Information using Stereo Method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |