WO2021182793A1 - 단일 체커보드를 이용하는 이종 센서 캘리브레이션 방법 및 장치 - Google Patents

단일 체커보드를 이용하는 이종 센서 캘리브레이션 방법 및 장치 Download PDF

Info

Publication number
WO2021182793A1
WO2021182793A1 PCT/KR2021/002642 KR2021002642W WO2021182793A1 WO 2021182793 A1 WO2021182793 A1 WO 2021182793A1 KR 2021002642 W KR2021002642 W KR 2021002642W WO 2021182793 A1 WO2021182793 A1 WO 2021182793A1
Authority
WO
WIPO (PCT)
Prior art keywords
sensor
coordinate transformation
sensors
coordinates
coordinate system
Prior art date
Application number
PCT/KR2021/002642
Other languages
English (en)
French (fr)
Inventor
임종우
이원명
원창희
Original Assignee
주식회사 멀티플아이
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020200078349A external-priority patent/KR102438490B1/ko
Application filed by 주식회사 멀티플아이 filed Critical 주식회사 멀티플아이
Publication of WO2021182793A1 publication Critical patent/WO2021182793A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration

Definitions

  • the present invention relates to a method and apparatus for calibrating heterogeneous sensors, and more particularly, to a method and apparatus for calibrating heterogeneous sensors using a single checker board.
  • Typical examples of heterogeneous sensors used in autonomous driving systems are cameras and LiDARs. In general, a plurality of cameras are used so that various directions of a vehicle can be photographed.
  • Calibration between a plurality of single sensors and heterogeneous sensors is essential, and sensor calibration means calculating external parameters between sensors in order to convert a coordinate system between sensors.
  • Such sensor calibration is performed through an image obtained by photographing a calibration marker such as a checkerboard, and the existing calibration method was performed between a pair of sensors. Therefore, as the number of sensors used in the autonomous driving system increases, there is a problem in that the number of times of calibration is also increased.
  • Korean Patent Registration Nos. 10-1545633, 10-2054455 Korean Patent Publication No. 2018-0055292
  • Patent Publication No. 2018-0055292 Korean Patent Publication No. 2018-0055292
  • Z. Zhang, H. Rebecq, C. Forster, and D. Scaramuzza Benefit of large ield-of-view cameras for visual odometry, 2016”.
  • An object of the present invention is to provide a method and apparatus capable of integrally performing heterogeneous sensor calibration.
  • an object of the present invention is to provide a method and apparatus capable of integrally performing calibration of a plurality of cameras and lidar sensors in an autonomous driving system equipped with heterogeneous sensors.
  • a frame including a checkerboard, generated by a lidar sensor and a plurality of camera sensors, the sensor coordinate system of the lidar sensor and the camera sensor and generating a first coordinate transformation vector between a checkerboard coordinate system and an internal parameter of the camera sensor; generating a second coordinate transformation vector between the world coordinate system and the sensor coordinate system and a third coordinate transformation vector between the checkerboard coordinate system and the world coordinate system by using the first coordinate transformation vector; and updating the internal parameter and the second and third coordinate transformation vectors.
  • the generating of the second and third coordinate transformation vectors includes: generating a second coordinate transformation vector for the first sensor; generating a sensor coordinate transformation vector between the first and second sensors by using first coordinate transformation vectors for first and second sensors adjacent to each other; calculating a second coordinate transformation vector for the second sensor by using a second coordinate transformation vector for the first sensor and the sensor coordinate transformation vector; and generating the third coordinate transformation vector by using the first coordinate transformation vector and the second coordinate transformation vector for the second sensor.
  • At least one lidar sensor; a plurality of camera sensors; and a parameter generating unit configured to generate internal parameters of the camera sensor and external parameters of the lidar sensor and the camera sensor using a frame including a checkerboard generated by the lidar sensor and the camera sensor.
  • the parameter generator uses a global frame and a local frame to update the internal and external parameters, wherein the global frame is a frame or point cloud including the checkerboard observed by a plurality of sensors,
  • a local frame is provided with a heterogeneous sensor calibration device that is a frame or point cloud comprising the checkerboard observed by a single sensor.
  • calibration of heterogeneous sensors can be performed using a single checker board without an expensive environmental structure for sensor calibration.
  • calibration of heterogeneous sensors can be integrally performed at once without a calibration process for each sensor.
  • FIG. 1 is a view for explaining a heterogeneous sensor calibration apparatus according to an embodiment of the present invention.
  • FIG. 2 is a diagram for explaining a global frame and a local frame used in an embodiment of the present invention.
  • FIG. 3 is a diagram for explaining a heterogeneous sensor calibration method according to an embodiment of the present invention.
  • FIG. 4 is a diagram illustrating a pseudo code of a method for calibrating heterogeneous sensors according to an embodiment of the present invention.
  • the present invention relates to a method and apparatus for calibrating heterogeneous sensors using a single checkerboard.
  • the present invention may be applied to both heterogeneous sensor environments requiring calibration.
  • the present invention can also be applied to calibration between an image radar sensor and a camera sensor or an image radar sensor and a lidar sensor.
  • the sensor expressed so that the type of the sensor is not specified may be a term including one sensor or all of the different types of sensors.
  • the sensor may refer to both a lidar sensor and a camera sensor, or may refer to one of them.
  • FIG. 1 is a diagram for explaining a heterogeneous sensor calibration apparatus according to an embodiment of the present invention
  • FIG. 2 is a diagram for explaining a global frame and a local frame used in an embodiment of the present invention.
  • an apparatus for calibrating heterogeneous sensors includes at least one lidar sensor 110 , a plurality of camera sensors 121 to 124 , and a parameter generator 130 .
  • 1 shows an embodiment in which four camera sensors and one lidar sensor are used, and the number of sensors used may vary depending on the embodiment.
  • the heterogeneous sensor calibration apparatus may be used in an autonomous vehicle.
  • the camera sensors 121 to 124 and the lidar sensor 110 may be disposed in the vehicle so as to photograph all directions of the vehicle without a blind spot, and as an embodiment, of the lidar sensor capable of detecting all directions Due to the characteristics, the lidar sensor may be disposed between the camera sensors.
  • the lidar sensor 110 and the camera sensors 121 to 124 sense and photograph the checker board 140 to generate an image frame including the checker board.
  • a single checker board is used, and a plurality of image frames captured by the lidar sensor 110 and the camera sensors 121 to 124 in a state where the position of the single checker board is changed is used for calibration.
  • the parameter generator 130 generates internal parameters of the camera sensors 121 to 124 by using the frame including the checkerboard generated by the lidar sensor 110 and the camera sensors 121 to 124, External parameters of the lidar sensor 110 and the camera sensors 121 to 124 are generated.
  • the external parameters include a first coordinate transformation vector between the sensor coordinate system and the checkerboard coordinate system, a second coordinate transformation vector between the world coordinate system and the sensor coordinate system, and a third coordinate transformation vector between the checkerboard coordinate system and the world coordinate system.
  • the parameter generator 130 may generate internal and external parameters by using various calibration algorithms.
  • the parameter generator 130 optimizes internal and external parameters by updating internal and external parameters using the global frame and the local frame. That is, the parameter generator 130 primarily generates initial values of the internal and external parameters, and then updates the initial values to optimize the internal and external parameters. As an embodiment, the parameter generator 130 may update the internal parameter, the second coordinate transformation vector, and the third coordinate transformation vector.
  • a global frame is a frame or point cloud including a checkerboard observed by a plurality of sensors
  • a local frame indicates a frame or a point cloud including a checkerboard observed by a single sensor.
  • the camera or lidar sensor generates an image for an object included in a preset angle of view, and depending on the location of the checkerboard, a checkerboard may be included in the frame or point cloud generated by the sensor. it may not be
  • the frame or point cloud generated by the first and second sensors 210 and 220 includes both the checker boards.
  • the frame or point cloud generated by the first and second sensors 210 and 220 corresponds to the global frame.
  • the checkerboard When the checkerboard is located in the area A where the angles of view 211 and 221 of the first and second sensors do not overlap, the checkerboard is included only in the frame or point cloud generated by the first sensor 210, and the first and second sensors When the checkerboard is located in the region B where the angles of view 211 and 221 of the second sensor do not overlap, the checkerboard is included only in the frame or point cloud generated by the second sensor 220 .
  • the frame or point cloud corresponds to a local frame, and as an embodiment, the local frame may correspond to a frame generated by a sensor having an internal parameter, such as a camera sensor.
  • the parameter generator 130 uses the global frame and the local frame to update the internal parameter and the second and third coordinate transformation vectors so that the coordinate transformation error according to the internal parameter and the second and third coordinate transformation vectors is minimized.
  • the calibration method according to an embodiment of the present invention may be performed in a computing device such as a PC, a notebook computer, a mobile device, a server, or a calibration device including a memory and a processor.
  • a computing device such as a PC, a notebook computer, a mobile device, a server, or a calibration device including a memory and a processor.
  • the calibration method performed in the calibration device is one embodiment It is described as an example.
  • Calibration apparatus is generated by a lidar sensor and a plurality of camera sensors, using a frame including a checkerboard, between the sensor coordinate system of the lidar sensor and the plurality of camera sensors and the checkerboard coordinate system
  • a first coordinate transformation vector of , and an internal parameter of the camera sensor are generated (S310).
  • the calibration apparatus may generate an internal parameter (k i ) and a first coordinate transformation vector by using various known calibration algorithms.
  • the calibration apparatus generates a second coordinate transformation vector between the world coordinate system and the sensor coordinate system and a third coordinate transformation vector between the checkerboard coordinate system and the world coordinate system by using the first coordinate transformation vector (S320).
  • the calibration apparatus updates the internal parameter and the second and third coordinate transformation vectors (S330) to optimize the internal parameters and the second and third coordinate transformation vectors.
  • the first coordinate transformation vector may be a vector indicating a relative pose between the checker board and the sensor. Accordingly, when the first coordinate transformation vectors for different sensors are used, the sensor coordinate transformation vectors corresponding to the relative postures between the different sensors based on the checkerboard may be estimated.
  • composition operator represents a vector that converts the coordinates of the coordinate system corresponding to the subscript (S i ) into the coordinates of the coordinate system corresponding to the superscript (S j ).
  • b represents the checkerboard coordinate system.
  • the calibration apparatus generates a sensor coordinate transformation vector between the first and second sensors by using the first coordinate transformation vectors for the first and second sensors adjacent to each other, and sends the first sensor to the first sensor.
  • a second coordinate transformation vector for the second sensor may be calculated using the second coordinate transformation vector and the sensor coordinate transformation vector.
  • the first and second sensors may be sensors that generate a global frame including the checker board located at the first point in common.
  • the first sensor may be a camera sensor as a reference sensor, and the calibration apparatus may first generate a second coordinate transformation vector for the first sensor using a general calibration algorithm. And, as an embodiment, the calibration apparatus may calculate the second coordinate transformation vector for the second sensor as in [Equation 2].
  • w represents the world coordinate system. and denotes a second coordinate transformation vector between the sensor coordinate system of the c-th sensor and the world coordinate system, and corresponds to the second coordinate transformation vector for the second sensor.
  • the calibration apparatus by using the first coordinate transformation vector and the second coordinate transformation vector for the second sensor, the third coordinate transformation vector ( ), and [Equation 3] can be used as an example.
  • the calibration apparatus can generate a second coordinate transformation vector for all sensors by calculating a sensor coordinate transformation vector between two sensors disposed adjacently, that is, in a relationship that generates a global frame. have.
  • a sensor coordinate transformation vector between two sensors that are not disposed adjacent to each other that is, the angles of view do not overlap and thus cannot generate a global frame
  • these two sensors It can be calculated using a coordinate transformation vector for a sensor with a relation that generates a global frame.
  • the second and third sensors generate a global frame including a checkerboard located at a second point in common
  • the first and third sensors generate a local frame including a checkerboard located at a different point.
  • the calibration device using the sensor coordinate transformation vector between the first and second sensors and the sensor coordinate transformation vector between the second sensor and the third sensor as shown in [Equation 4], the first and A sensor coordinate transformation vector between the third sensors may be generated.
  • the sensor coordinate transformation vector between the first and second sensors is the sensor coordinate transformation vector between the second and third sensors corresponds to the sensor coordinate transformation vector between the first and third sensors.
  • the third coordinate transformation vector and the second coordinate transformation vector for all sensors may be generated. Since this coordinate transformation vector is obtained from the second coordinate transformation vector between adjacent sensors, the further away from the reference sensor, the more The error of the second coordinate transformation vector is accumulated. Since the error of the second coordinate transformation vector also affects other parameters, an optimization process to reduce the error is required, and this optimization process is performed in step S330.
  • step S330 the calibration apparatus updates the internal parameter and the second and third coordinate transformation vectors by using an objective function that minimizes the coordinate transformation error according to the internal parameter and the second and third coordinate transformation vectors.
  • the calibration apparatus may update the internal parameter and the second and third coordinate transformation vectors by using an objective function such as [Equation 5].
  • the coordinate transformation error according to the internal parameter and the second and third coordinate transformation vectors is largely global corner reprojection error (the first , first error), Point-to-plane distance error( , 2nd error), Local corner reprojection error (2nd error) , the third error).
  • G represents a global frame set
  • L represents a local frame set
  • C represents the camera set
  • i represents the index of the camera sensor
  • j represents the index of the lidar sensor.
  • Each represents a weight assigned to the first to third errors.
  • the second error is an error for the lidar sensor
  • the first and third errors are errors for the camera sensor.
  • the calibration apparatus calculates a first error using a camera sensor that generates a global frame, and calculates a third error using a camera sensor that generates a local frame. If the camera sensor generates both a global frame and a local frame, the calibration device calculates both the first and third errors for the camera sensor.
  • Calibration apparatus is the coordinates of the reference corner point of the checker board included in the global frame of the first sensor that is a camera sensor, and the first transformation coordinates for the reference corner point of the checker board located at the first point. The distance between them is calculated as a first error included in the coordinate transformation error.
  • the first transformation coordinates are coordinates converted from the world coordinates of the reference corner points of the checker board located at the first point to the coordinates of the sensor coordinate system of the first sensor, and the reference corner points are the corner points of the checker board or the intersection of the grids.
  • the calibration apparatus may calculate the first error using [Equation 6].
  • the coordinates of the reference corner point of the checker board included in the global frame of the i-th camera sensor which is the coordinate on the sensor coordinate system, and corresponds to the coordinates of the reference corner point of the checker board included in the global frame of the first sensor.
  • a camera projection function for the i-th camera sensor and is a function that projects the coordinates of the world coordinate system to the coordinates of the sensor coordinate system.
  • the third coordinate transformation vector and the second coordinate transformation vector for the first sensor are the composed coordinates ( ). and corresponds to the first transformation coordinates,
  • the internal parameters of the first sensor are composed and calculated.
  • the calibration apparatus may calculate a first error using a ray distance as in [Equation 7].
  • the calibration apparatus models the checker board included in the global frame of the first sensor, which is a camera sensor, in a three-dimensional plane, and one of the points included in the point cloud of the second sensor, which is a lidar sensor,
  • the distance between the three-dimensional planes is calculated as a second error included in the coordinate transformation error.
  • the first and second sensors are in a relationship that generates a global frame.
  • the checker board included in the global frame of the first sensor may be modeled as a three-dimensional plane through a PCA (Principal Component Analysis) algorithm as an embodiment, and in this case, the plane parameter for the three-dimensional plane is same as here, represents the normal vector of the three-dimensional plane, represents the distance between the origin and the 3D plane.
  • PCA Principal Component Analysis
  • the calibration device calculates the second error through the second transformation coordinates for the reference corner point of the checkerboard located at the first point and the plane parameter for the three-dimensional plane, and as an embodiment, 2 errors can be calculated.
  • 2nd transformation coordinates ( ) is the coordinates converted from the coordinates of the world coordinate system of the reference corner point of the checkerboard located at the first point to the coordinates of the sensor coordinate system of the second sensor. Since the lidar sensor has no internal parameters, the second transformation coordinates may be calculated without application of the internal parameters.
  • the calibration apparatus calculates the third error in a method similar to the first error. However, since the frame used is a local frame, there is a difference from the first error.
  • the calibration device converts the coordinates between the coordinates of the reference corner point of the checker board included in the local frame of the first sensor, which is the camera sensor, and the third transformation coordinates for the reference corner point of the checker board located at the third point. It is calculated as the third error included in the error.
  • the third transformation coordinates are coordinates converted from the world coordinates of the reference corner point of the checkerboard located at the third point to the coordinates of the sensor coordinate system of the first sensor.
  • the third point corresponds to a point in an area of the field of view of the first sensor that does not overlap with other sensors.
  • the calibration apparatus may calculate the third error by using [Equation 6] or [Equation 7] described above.
  • the above-described heterogeneous sensor calibration method according to an embodiment of the present invention is expressed in pseudo code as shown in FIG. 4 .
  • the technical contents described above may be implemented in the form of program instructions that can be executed through various computer means and recorded in a computer-readable medium.
  • the computer-readable medium may include program instructions, data files, data structures, etc. alone or in combination.
  • the program instructions recorded on the medium may be specially designed and configured for the embodiments, or may be known and available to those skilled in the art of computer software.
  • Examples of the computer-readable recording medium include magnetic media such as hard disks, floppy disks and magnetic tapes, optical media such as CD-ROMs and DVDs, and magnetic such as floppy disks.
  • - includes magneto-optical media, and hardware devices specially configured to store and execute program instructions, such as ROM, RAM, flash memory, and the like.
  • Examples of program instructions include not only machine language codes such as those generated by a compiler, but also high-level language codes that can be executed by a computer using an interpreter or the like.
  • a hardware device may be configured to operate as one or more software modules to perform the operations of the embodiments, and vice versa.

Abstract

단일 체커보드를 이용하는 이종 센서 캘리브레이션 방법 및 장치가 개시된다. 개시된 이종 센서 캘리브레이션 방법은, 라이다 센서 및 복수의 카메라 센서에 의해 생성된, 체커보드가 포함된 프레임을 이용하여, 상기 라이다 센서 및 카메라 센서의 센서 좌표계와 체커보드 좌표계 사이의 제1좌표 변환 벡터 및 상기 카메라 센서의 내부 파라미터를 생성하는 단계; 상기 제1좌표 변환 벡터를 이용하여, 월드 좌표계와 상기 센서 좌표계 사이의 제2좌표 변환 벡터 및 상기 체커보드 좌표계와 상기 월드 좌표계 사이의 제3좌표 변환 벡터를 생성하는 단계; 및 상기 내부 파라미터, 상기 제2 및 제3좌표 변환 벡터를 갱신하는 단계를 포함한다.

Description

단일 체커보드를 이용하는 이종 센서 캘리브레이션 방법 및 장치
본 발명은 이종 센서 캘리브레이션 방법 및 장치에 관한 것으로서, 보다 상세하게는 단일 체커보드를 이용하는 이종 센서 캘리브레이션 방법 및 장치에 관한 것이다.
많은 자율 주행 시스템에서, 주변 환경을 인지하고 장애물을 회피하기 위해 다양한 센서들이 이용되고 있다. 그리고 자율 주행 성능을 높이기 위해 서로 다른 종류의 이종 센서가 함께 이용되고 있다.
자율 주행 시스템에 함께 이용되는 이종 센서로서 대표적인 것이 카메라와 라이다(LiDARs)이며, 일반적으로 카메라는 차량의 여러 방향이 촬영될 수 있도록 복수개가 사용된다.
복수의 단일 센서, 그리고 이종 센서 사이에 캘리브레이션은 필수적이며, 센서 캘리브레이션(sensor calibration)은 센서간 좌표계를 변환하기 위해 센서간의 외부 파라미터를 산출하는 것을 의미한다.
이러한 센서 캘리브레이션은 체커보드(checkerboard)와 같은 캘리브레이션 마커를 촬영한 이미지를 통해 이루어지는데, 기존 캘리브레이션 방법은 한쌍의 센서 사이에서 수행되었다. 따라서 자율 주행 시스템에 사용되는 센서의 개수가 증가할수록 캘리브레이션의 수행 횟수 역시 증가하는 문제가 있다.
관련 선행문헌으로 특허문헌인 대한민국 등록특허 제10-1545633호, 제10-2054455호, 대한민국 공개특허 제2018-0055292호가 있으며, 비특허문헌으로 "Z. Zhang, H. Rebecq, C. Forster, and D. Scaramuzza, Benefit of large ield-of-view cameras for visual odometry, 2016"가 있다.
본 발명은 이종 센서 캘리브레이션을 통합적으로 수행할 수 있는 방법 및 장치를 제공하기 위한 것이다.
특히, 본 발명은 이종 센서가 탑재된 자율 주행 시스템에서, 복수의 카메라와 라이다 센서의 캘리브레이션을 통합적으로 수행할 수 있는 방법 및 장치를 제공하기 위한 것이다.
상기한 목적을 달성하기 위한 본 발명의 일 실시예에 따르면, 라이다 센서 및 복수의 카메라 센서에 의해 생성된, 체커보드가 포함된 프레임을 이용하여, 상기 라이다 센서 및 카메라 센서의 센서 좌표계와 체커보드 좌표계 사이의 제1좌표 변환 벡터 및 상기 카메라 센서의 내부 파라미터를 생성하는 단계; 상기 제1좌표 변환 벡터를 이용하여, 월드 좌표계와 상기 센서 좌표계 사이의 제2좌표 변환 벡터 및 상기 체커보드 좌표계와 상기 월드 좌표계 사이의 제3좌표 변환 벡터를 생성하는 단계; 및 상기 내부 파라미터, 상기 제2 및 제3좌표 변환 벡터를 갱신하는 단계를 포함하는 이종 센서 캘리브레이션 방법이 제공된다.
또한 본 발명의 일 실시예에 따르면, 상기 제2 및 제3좌표 변환 벡터를 생성하는 단계는 제1센서에 대한 제2좌표 변환 벡터를 생성하는 단계; 서로 인접한 제1 및 제2센서에 대한 제1좌표 변환 벡터를 이용하여, 상기 제1 및 제2센서 사이의 센서 좌표 변환 벡터를 생성하는 단계; 상기 제1센서에 대한 제2좌표 변환 벡터 및 상기 센서 좌표 변환 벡터를 이용하여, 상기 제2센서에 대한 제2좌표 변환 벡터를 계산하는 단계; 및 상기 제2센서에 대한 제1좌표 변환 벡터 및 제2좌표 변환 벡터를 이용하여, 상기 제3좌표 변환 벡터를 생성하는 단계를 포함한다.
또한 상기한 목적을 달성하기 위한 본 발명의 다른 실시예에 따르면, 적어도 하나의 라이다 센서; 복수의 카메라 센서; 및 상기 라이다 센서 및 카메라 센서에 의해 생성된, 체커보드가 포함된 프레임을 이용하여, 상기 카메라 센서의 내부 파라미터를 생성하고, 상기 라이다 센서 및 상기 카메라 센서의 외부 파라미터를 생성하는 파라미터 생성부를 포함하며, 상기 파라미터 생성부는 글로벌 프레임 및 로컬 프레임을 이용하여, 상기 내부 및 외부 파라미터를 갱신하며, 상기 글로벌 프레임은, 복수의 센서에 의해 관측된 상기 체커보드를 포함하는 프레임 또는 포인트 클라우드이며, 상기 로컬 프레임은, 단일 센서에 의해 관측된 상기 체커보드를 포함하는 프레임 또는 포인트 클라우드인 이종 센서 캘리브레이션 장치가 제공된다.
본 발명의 일실시예에 따르면, 센서 캘리브레이션을 위한 고가의 환경 구조물없이, 단일 체커보드를 활용하여 이종 센서의 캘리브레이션을 수행할 수 있다.
또한 본 발명의 일실시예에 따르면, 센서 각각에 대한 캘리브레이션 과정없이, 이종 센서의 캘리브레이션을 통합적으로 한번에 수행할 수 있다.
도 1은 본 발명의 일실시예에 따른 이종 센서 캘리브레이션 장치를 설명하기 위한 도면이다.
도 2는 본 발명의 일실시예에서 이용되는 글로벌 프레임과 로컬 프레임을 설명하기 위한 도면이다.
도 3은 본 발명의 일실시예에 따른 이종 센서 캘리브레이션 방법을 설명하기 위한 도면이다.
도 4는 본 발명의 일실시예에 따른 이종 센서 캘리브레이션 방법의 의사 코드를 나타내는 도면이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.
본 발명은 단일 체커보드를 이용하는 이종 센서 사이의 캘리브레이션 방법 및 장치에 관한 발명이다.
이하 실시예에서는 이종 센서로서 라이다 센서와 카메라 센서가 이용되는 환경에서의 캘리브레이션 방법 및 장치가 설명되나, 본 발명은 캘리브레이션이 요구되는 이종 센서 환경에 모두 적용될 수 있다. 예컨대, 본 발명은 이미지 레이더 센서와 카메라 센서 또는 이미지 레이더 센서와 라이더 센서 사이의 캘리브레이션에도 적용될 수 있다.
또한 이하 실시예에서 센서의 종류가 특정되지 않도록 표현되는 센서는, 하나의 센서 또는 이종 센서 모두를 포함하는 용어일 수 있다. 다시 말해 센서라고 함은, 라이다 센서와 카메라 센서를 모두 지칭하거나, 이 중 하나를 지칭하는 것일 수 있다.
이하에서, 본 발명에 따른 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 발명의 일실시예에 따른 이종 센서 캘리브레이션 장치를 설명하기 위한 도면이며, 도 2는 본 발명의 일실시예에서 이용되는 글로벌 프레임과 로컬 프레임을 설명하기 위한 도면이다.
도 1을 참조하면, 본 발명의 일실시예에 따른 이종 센서 캘리브레이션 장치는 적어도 하나의 라이다 센서(110), 복수의 카메라 센서(121 내지 124) 및 파라미터 생성부(130)를 포함한다. 도 1에서는 4개의 카메라 센서와 하나의 라이다 센서가 사용되는 실시예가 도시되며, 이용되는 센서의 개수는 실시예에 따라서 달라질 수 있다.
또한 일실시예로서, 이종 센서 캘리브레이션 장치는 자율 주행 차량에 이용될 수 있다. 카메라 센서(121 내지 124)와 라이다 센서(110)는, 사각 지대없이 차량의 전방향을 촬영할 수 있도록 차량에 배치될 수 있으며, 일실시예로서, 전방향을 감지할 수 있는 라이다 센서의 특성상 라이다 센서는 카메라 센서 사이에 배치될 수 있다.
라이다 센서(110) 및 카메라 센서(121 내지 124)는 체커보드(140)를 센싱 및 촬영하여, 체커보드가 포함된 영상 프레임을 생성한다. 본 발명의 일실시예에서는 단일 체커보드가 이용되며, 단일 체커보드의 위치가 변경된 상태에서 라이다 센서(110) 및 카메라 센서(121 내지 124)에서 촬영된 복수의 영상 프레임이 캘리브레이션에 이용된다.
파라미터 생성부(130)는 라이다 센서(110) 및 카메라 센서(121 내지 124)에 의해 생성된, 체커보드가 포함된 프레임을 이용하여, 카메라 센서(121 내지 124)의 내부 파라미터를 생성하고, 라이다 센서(110) 및 카메라 센서(121 내지 124)의 외부 파라미터를 생성한다. 외부 파라미터는 센서 좌표계와 체커보드 좌표계 사이의 제1좌표 변환 벡터, 월드 좌표계와 센서 좌표계 사이의 제2좌표 변환 벡터 및 체커보드 좌표계와 월드 좌표계 사이의 제3좌표 변환 벡터를 포함한다. 파라미터 생성부(130)는 다양한 캘리브레이션 알고리즘을 이용하여, 내부 및 외부 파라미터를 생성할 수 있다.
그리고 파라미터 생성부(130)는 글로벌 프레임 및 로컬 프레임을 이용하여, 내부 및 외부 파라미터를 갱신함으로써 내부 및 외부 파라미터를 최적화한다. 즉, 파라미터 생성부(130)는 1차적으로 내부 및 외부 파라미터의 초기값을 생성한 후, 초기값을 갱신하여 내부 및 외부 파라미터를 최적화한다. 일실시예로서, 파라미터 생성부(130)는 내부 파라미터, 제2좌표 변환 벡터 및 제3좌표 변환 벡터를 갱신할 수 있다.
글로벌 프레임(global frame)은 복수의 센서에 의해 관측된 체커보드를 포함하는 프레임 또는 포인트 클라우드이며, 로컬 프레임(local frame)은 단일 센서에 의해 관측된 체커보드를 포함하는 프레임 또는 포인트 클라우드를 나타낸다.
도 2에 도시된 바와 같이, 카메라 또는 라이다 센서는 미리 설정된 화각에 포함된 객체에 대한 이미지를 생성하며, 체커보드의 위치에 따라서 센서에서 생성된 프레임 또는 포인트 클라우드에 체커보드가 포함될 수도, 포함되지 않을 수도 있다. 제1 및 제2센서의 화각(211, 221)이 오버랩되는 B 영역에 체커보드가 위치할 경우, 제1 및 제2센서(210, 220)에서 생성되는 프레임 또는 포인트 클라우드에는 체커 보드가 모두 포함되며, 이 때 제1 및 제2센서(210, 220)에 의해 생성되는 프레임 또는 포인트 클라우드는 글로벌 프레임에 대응된다.
제1 및 제2센서의 화각(211, 221)이 오버랩되지 않는 A 영역에 체커보드가 위치할 경우에는 제1센서(210)에서 생성되는 프레임 또는 포인트 클라우드에만 체커보드가 포함되며, 제1 및 제2센서의 화각(211, 221)이 오버랩되지 않는 B 영역에 체커보드가 위치할 경우에는 제2센서(220)에서 생성되는 프레임 또는 포인트 클라우드에만 체커보드가 포함된다. 이러한 경우의 프레임 또는 포인트 클라우드는 로컬 프레임에 대응되며, 일실시예로서 로컬 프레임은 카메라 센서와 같이 내부 파라미터를 가지고 있는 센서에 의해 생성되는 프레임에 대응될 수 있다.
파라미터 생성부(130)는 글로벌 프레임 및 로컬 프레임을 이용하여, 내부 파라미터, 제2 및 제3좌표 변환 벡터에 따른 좌표 변환 오차가 최소화되도록, 내부 파라미터, 제2 및 제3좌표 변환 벡터를 갱신할 수 있다.
도 3은 본 발명의 일실시예에 따른 이종 센서 캘리브레이션 방법을 설명하기 위한 도면이다. 본 발명의 일실시예에 따른 캘리브레이션 방법은 메모리 및 프로세서를 포함하는 PC, 노트북, 모바일 기기, 서버, 캘리브레이션 장치와 같은 컴퓨팅 장치에서 수행될 수 있으며, 이하에서는 캘리브레이션 장치에서 수행되는 캘리브레이션 방법이 일실시예로서 설명된다.
본 발명의 일실시예에 따른 캘리브레이션 장치는 라이다 센서 및 복수의 카메라 센서에 의해 생성된, 체커보드가 포함된 프레임을 이용하여, 라이다 센서 및 복수의 카메라 센서의 센서 좌표계와 체커보드 좌표계 사이의 제1좌표 변환 벡터 및 카메라 센서의 내부 파라미터를 생성(S310)한다. 단계 S310에서 캘리브레이션 장치는 공지된 다양한 캘리브레이션 알고리즘을 이용하여, 내부 파라미터(k i) 및 제1좌표 변환 벡터를 생성할 수 있다.
그리고 캘리브레이션 장치는 제1좌표 변환 벡터를 이용하여, 월드 좌표계와 센서 좌표계 사이의 제2좌표 변환 벡터 및 체커보드 좌표계와 월드 좌표계 사이의 제3좌표 변환 벡터를 생성(S320)한다.
그리고 캘리브레이션 장치는 내부 파라미터, 제2 및 제3좌표 변환 벡터를 갱신(S330)하여, 내부 파라미와 제2 및 제3좌표 변환 벡터를 최적화한다.
이하 단계 S320 및 S330에 대해 보다 자세히 설명하기로 한다.
제1 및 제2좌표 변환 벡터 생성
제1좌표 변환 벡터는 체커보드와 센서의 상대적인 자세(relative pose)를 나타내는 벡터라고 할 수 있다. 따라서, 서로 다른 센서에 대한 제1좌표 변환 벡터를 이용하면, 체커보드를 기준으로 서로 다른 센서 사이의 상대적인 자세에 대응되는 센서 좌표 변환 벡터가 추정될 수 있다.
일실시예로서, 체커보드가 포함된 k번째 프레임으로부터 동시에 획득된 i번째 및 j번째 센서에 대한 제1좌표 변환 벡터를 각각
Figure PCTKR2021002642-appb-img-000001
및
Figure PCTKR2021002642-appb-img-000002
라고 한다면, i번째 및 j번째 센서 사이의 상대적인 자세를 나타내는 센서 좌표 변환 벡터(
Figure PCTKR2021002642-appb-img-000003
)는 [수학식 1]과 같이 계산될 수 있다.
Figure PCTKR2021002642-appb-img-000004
여기서
Figure PCTKR2021002642-appb-img-000005
는 컴포지션(composition) 연산자를 나타내며,
Figure PCTKR2021002642-appb-img-000006
는 아래 첨자(S i)에 대응되는 좌표계의 좌표를 윗첨자(S j)에 대응되는 좌표계의 좌표로 변환하는 벡터를 나타낸다. b는 체커보드 좌표계를 나타낸다.
본 발명의 일실시예에 따른 캘리브레이션 장치는 서로 인접한 제1 및 제2센서에 대한 제1좌표 변환 벡터를 이용하여, 제1 및 제2센서 사이의 센서 좌표 변환 벡터를 생성하고, 제1센서에 대한 제2좌표 변환 벡터 및 센서 좌표 변환 벡터를 이용하여, 제2센서에 대한 제2좌표 변환 벡터를 계산할 수 있다. 제1 및 제2센서는 제1지점에 위치한 체커보드를 공통으로 포함하는 글로벌 프레임을 생성하는 센서일 수 있다.
제1센서는 기준 센서로서, 카메라 센서일 수 있으며, 캘리브레이션 장치는 일반적인 캘리브레이션 알고리즘을 이용하여 제1센서에 대한 제2좌표 변환 벡터를 먼저 생성할 수 있다. 그리고 캘리브레이션 장치는 일실시예로서 [수학식 2]와 같이, 제2센서에 대한 제2좌표 변환 벡터를 계산할 수 있다.
Figure PCTKR2021002642-appb-img-000007
여기서, w는 월드 좌표계를 나타낸다. 그리고
Figure PCTKR2021002642-appb-img-000008
는 c번째 센서의 센서 좌표계와 월드 좌표계 사이의 제2좌표 변환 벡터를 나타내며, 제2센서에 대한 제2좌표 변환 벡터에 대응된다.
Figure PCTKR2021002642-appb-img-000009
는 제1센서에 대한 제2좌표 변환 벡터를 나타내며,
Figure PCTKR2021002642-appb-img-000010
는 제1 및 제2센서 사이의 센서 좌표 변환 벡터를 나타낸다.
그리고 본 발명의 일실시예에 따른 캘리브레이션 장치는 제2센서에 대한 제1좌표 변환 벡터 및 제2좌표 변환 벡터를 이용하여, 제3좌표 변환 벡터(
Figure PCTKR2021002642-appb-img-000011
)를 생성하며, 일실시예로서 [수학식 3]을 이용할 수 있다.
Figure PCTKR2021002642-appb-img-000012
여기서,
Figure PCTKR2021002642-appb-img-000013
는 c번째 센서의 제1좌표 변환 벡터를 나타내며, 제2센서에 대한 제1좌표 변환 벡터에 대응된다.
본 발명의 일실시예에 따른 캘리브레이션 장치는 인접하여 배치된 즉, 글로벌 프레임을 생성하는 관계의 2개의 센서 사이의 센서 좌표 변환 벡터를 계산하여, 모든 센서에 대한 제2좌표 변환 벡터를 생성할 수 있다.
또한 본 발명의 일실시예에 따른 캘리브레이션 장치는 서로 인접하여 배치되지 않은, 즉 화각이 오버랩되지 않아 글로벌 프레임을 생성할 수 없는 관계의 2개의 센서 사이의 센서 좌표 변환 벡터에 대해, 이러한 2개의 센서와 글로벌 프레임을 생성하는 관계의 센서에 대한 좌표 변환 벡터를 이용하여 계산할 수 있다.
예컨대, 제2 및 제3센서는, 제2지점에 위치한 체커보드를 공통으로 포함하는 글로벌 프레임을 생성하며, 제1 및 제3센서는, 서로 다른 지점에 위치한 체커보드를 포함하는 로컬 프레임을 생성하는 센서라면, 캘리브레이션 장치는 [수학식 4]와 같이, 제1 및 제2센서 사이의 센서 좌표 변환 벡터와, 제2센서 및 제3센서 사이에 대한 센서 좌표 변환 벡터를 이용하여, 제1 및 제3센서 사이의 센서 좌표 변환 벡터를 생성할 수 있다.
Figure PCTKR2021002642-appb-img-000014
여기서,
Figure PCTKR2021002642-appb-img-000015
는 제1 및 제2센서 사이의 센서 좌표 변환 벡터,
Figure PCTKR2021002642-appb-img-000016
는 제2 및 제3센서 사이의 센서 좌표 변환 벡터
Figure PCTKR2021002642-appb-img-000017
는 제1 및 제3센서 사이의 센서 좌표 변환 벡터에 대응된다.
이와 같이, 제3좌표 변환 벡터와, 모든 센서에 대한 제2좌표 변환 벡터가 생성될 수 있는데, 이러한 좌표 변환 벡터는 인접한 센서 사이의 제2좌표 변환 벡터로부터 얻어지는 것이기 때문에, 기준 센서로부터 멀어질수록 제2좌표 변환 벡터의 오차는 누적된다. 제2좌표 변환 벡터의 오차는 다른 파라미터에도 영향을 미치므로, 이러한 오차를 줄이기 위한 최적화 과정이 필요하며, 이러한 최적화 과정이 단계 S330에서 수행된다.
단계 S330에서 캘리브레이션 장치는, 내부 파라미터, 제2 및 제3좌표 변환 벡터에 따른 좌표 변환 오차를 최소화시키는 목적 함수를 이용하여, 내부 파라미터, 제2 및 제3좌표 변환 벡터를 갱신한다. 캘리브레이션 장치는 일실시예로서, [수학식 5]와 같은 목적 함수를 이용하여, 내부 파라미터, 제2 및 제3좌표 변환 벡터를 갱신할 수 있다.
Figure PCTKR2021002642-appb-img-000018
내부 파라미터, 제2 및 제3좌표 변환 벡터에 따른 좌표 변환 오차는 크게 Global corner reprojection error(첫번째
Figure PCTKR2021002642-appb-img-000019
, 제1오차), Point-to-plane distance error(
Figure PCTKR2021002642-appb-img-000020
, 제2오차), Local corner reprojection error(두번째
Figure PCTKR2021002642-appb-img-000021
, 제3오차)를 포함한다.
여기서, G는 글로벌 프레임 집합을 나타내며, L은 로컬 프레임 집합을 나타낸다. C는 카메라 집합을 나타내며, i는 카메라 센서의 인덱스, j는 라이다 센서의 인덱스를 나타낸다. 그리고
Figure PCTKR2021002642-appb-img-000022
각각은 제1 내지 제3오차에 부여되는 가중치를 나타낸다.
제2오차는 라이다 센서에 대한 오차이며, 제1 및 제3오차는 카메라 센서에 대한 오차이다. 캘리브레이션 장치는 글로벌 프레임을 생성하는 카메라 센서를 이용하여 제1오차를 계산하며, 로컬 프레임을 생성하는 카메라 센서를 이용하여 제3오차를 계산한다. 만일 카메라 센서가 글로벌 프레임과 로컬 프레임을 모두 생성한다면, 캘리브레이션 장치는 이러한 카메라 센서에 대해 제1 및 제3오차를 모두 계산한다.
Global corner reprojection error
본 발명의 일실시예에 따른 캘리브레이션 장치는 카메라 센서인 제1센서의 글로벌 프레임에 포함된 체커보드의 기준 코너점의 좌표와, 제1지점에 위치한 체커보드의 기준 코너점에 대한 제1변환 좌표 사이의 거리를, 좌표 변환 오차에 포함되는 제1오차로 계산한다. 여기서, 제1변환 좌표는, 제1지점에 위치한 체커보드의 기준 코너점의 월드 좌표로부터 제1센서의 센서 좌표계의 좌표로 변환된 좌표이며, 기준 코너점은 체커보드의 코너점 또는 격자의 교차점 중 하나가 될 수 있다.
캘리브레이션 장치는 일실시예로서, [수학식 6]을 이용하여 제1오차를 계산할 수 있다.
Figure PCTKR2021002642-appb-img-000023
여기서,
Figure PCTKR2021002642-appb-img-000024
는 i번째 카메라 센서의 글로벌 프레임에 포함된 체커보드의 기준 코너점의 좌표로서, 센서 좌표계 상의 좌표이며, 제1센서의 글로벌 프레임에 포함된 체커보드의 기준 코너점의 좌표에 대응된다. 그리고
Figure PCTKR2021002642-appb-img-000025
는 i번째 카메라 센서에 대한 카메라 프로젝션 함수로서, 월드 좌표계의 좌표를 센서 좌표계의 좌표로 투영시키는 함수이다.
Figure PCTKR2021002642-appb-img-000026
는 제1지점에 위치한 체커보드의 기준 코너점의 월드 좌표(
Figure PCTKR2021002642-appb-img-000027
)에, 제3좌표 변환 벡터 및 제1센서에 대한 제2좌표 변환 벡터가 컴포지션된 좌표이다(
Figure PCTKR2021002642-appb-img-000028
). 그리고
Figure PCTKR2021002642-appb-img-000029
는 제1변환 좌표에 대응되며,
Figure PCTKR2021002642-appb-img-000030
에 제1센서의 내부 파라미터가 컴포지션되어 계산된다.
만일, 제1센서가 화각 180도 이상의 어안 렌즈 카메라인 경우, 캘리브레이션 장치는 [수학식 7]과 같이 레이 디스턴스(ray distance)를 이용하여 제1오차를 계산할 수 있다.
Figure PCTKR2021002642-appb-img-000031
여기서,
Figure PCTKR2021002642-appb-img-000032
는 카메라 프로젝션 함수의 역함수이며,
Figure PCTKR2021002642-appb-img-000033
는 단위 레이(unit ray)로서,
Figure PCTKR2021002642-appb-img-000034
와 같이 계산된다.
Point-to-plane distance error
본 발명의 일실시예에 따른 캘리브레이션 장치는 카메라 센서인 제1센서의 글로벌 프레임에 포함된 체커 보드를 3차원 평면으로 모델링하며, 라이다 센서인 제2센서의 포인트 클라우드에 포함된 포인트 중 하나와 3차원 평면 사이의 거리를, 좌표 변환 오차에 포함되는 제2오차로 계산한다. 전술된 바와 같이, 제1 및 제2센서는 글로벌 프레임을 생성하는 관계이다.
제1센서의 글로벌 프레임에 포함된 체커보드는, 일실시예로서 PCA(Principal Component Analysis) 알고리즘을 통해 3차원 평면으로 모델링될 수 있으며, 이 때 3차원 평면에 대한 평면 파라미터는
Figure PCTKR2021002642-appb-img-000035
와 같다. 여기서,
Figure PCTKR2021002642-appb-img-000036
는 3차원 평면의 법선 벡터(normal vector)를 나타내며,
Figure PCTKR2021002642-appb-img-000037
는 원점과 3차원 평면 사이의 거리를 나타낸다.
캘리브레이션 장치는 3차원 평면에 대한 평면 파라미터 및 제1지점에 위치한 체커보드의 기준 코너점에 대한 제2변환 좌표를 통해 제2오차를 계산하며, 일실시예로서, [수학식 8]과 같이 제2오차를 계산할 수 있다. 제2변환 좌표(
Figure PCTKR2021002642-appb-img-000038
)는 제1지점에 위치한 체커보드의 기준 코너점의 월드 죄표계의 좌표로부터, 제2센서의 센서 좌표계의 좌표로 변환된 좌표이다. 라이다 센서는 내부 파라미터가 없으므로, 내부 파라미터의 적용없이 제2변환 좌표가 계산될 수 있다.
Figure PCTKR2021002642-appb-img-000039
Local corner reprojection error
본 발명의 일실시예에 따른 캘리브레이션 장치는 제1오차와 유사한 방법으로 제3오차를 계산한다. 다만, 이용되는 프레임이 로컬 프레임으로, 제1오차와 차이가 있다.
캘리브레이션 장치는 카메라 센서인 제1센서의 로컬 프레임에 포함된 체커보드의 기준 코너점의 좌표와, 제3지점에 위치하는 체커보드의 기준 코너점에 대한 제3변환 좌표 사이의 거리를, 좌표 변환 오차에 포함되는 제3오차로 계산한다. 제3변환 좌표는, 제3지점에 위치한 체커보드의 기준 코너점의 월드 좌표로부터 제1센서의 센서 좌표계의 좌표로 변환된 좌표이다. 제3지점은 제1센서의 화각 중 다른 센서와 오버랩되지 않는 영역의 한 지점에 대응된다.
캘리브레이션 장치는 전술된 [수학식 6]이나 [수학식 7]을 이용하여, 제3오차를 계산할 수 있다.
이상 살펴본 본 발명의 일실시예에 따른 이종 센서 캘리브레이션 방법을 의사 코드로 표현하면 도 4와 같다.
본 발명의 일실시예에 따르면, 단일 체커보드를 이용하여, 여러 이종 센서 사이의 캘리브레이션을 통합적으로 한번에 수행할 수 있다.
앞서 설명한 기술적 내용들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예들을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 하드웨어 장치는 실시예들의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.

Claims (12)

  1. 라이다 센서 및 복수의 카메라 센서에 의해 생성된, 체커보드가 포함된 프레임을 이용하여, 상기 라이다 센서 및 카메라 센서의 센서 좌표계와 체커보드 좌표계 사이의 제1좌표 변환 벡터 및 상기 카메라 센서의 내부 파라미터를 생성하는 단계;
    상기 제1좌표 변환 벡터를 이용하여, 월드 좌표계와 상기 센서 좌표계 사이의 제2좌표 변환 벡터 및 상기 체커보드 좌표계와 상기 월드 좌표계 사이의 제3좌표 변환 벡터를 생성하는 단계; 및
    상기 내부 파라미터, 상기 제2 및 제3좌표 변환 벡터를 갱신하는 단계
    를 포함하는 이종 센서 캘리브레이션 방법.
  2. 제 1항에 있어서,
    상기 제2 및 제3좌표 변환 벡터를 생성하는 단계는
    제1센서에 대한 제2좌표 변환 벡터를 생성하는 단계;
    서로 인접한 제1 및 제2센서에 대한 제1좌표 변환 벡터를 이용하여, 상기 제1 및 제2센서 사이의 센서 좌표 변환 벡터를 생성하는 단계;
    상기 제1센서에 대한 제2좌표 변환 벡터 및 상기 센서 좌표 변환 벡터를 이용하여, 상기 제2센서에 대한 제2좌표 변환 벡터를 계산하는 단계; 및
    상기 제2센서에 대한 제1좌표 변환 벡터 및 제2좌표 변환 벡터를 이용하여, 상기 제3좌표 변환 벡터를 생성하는 단계
    를 포함하는 이종 센서 캘리브레이션 방법.
  3. 제 2항에 있어서,
    상기 제1 및 제2센서는,
    제1지점에 위치한 상기 체커보드를 공통으로 포함하는 글로벌 프레임을 생성하는
    이종 센서 캘리브레이션 방법.
  4. 제 3항에 있어서,
    상기 제1 및 제2센서 사이의 센서 좌표 변환 벡터와, 상기 제2센서 및 제3센서 사이에 대한 센서 좌표 변환 벡터를 이용하여, 상기 제1 및 제3센서 사이의 센서 좌표 변환 벡터를 생성하는 단계를 더 포함하며,
    상기 제2 및 제3센서는, 제2지점에 위치한 상기 체커보드를 공통으로 포함하는 글로벌 프레임을 생성하며,
    상기 제1 및 제3센서는, 서로 다른 지점에 위치한 상기 체커보드를 포함하는 로컬 프레임을 생성하는
    이종 센서 캘리브레이션 방법.
  5. 제 3항에 있어서,
    상기 내부 파라미터, 상기 제2 및 제3좌표 변환 벡터를 갱신하는 단계는
    상기 내부 파라미터, 상기 제2 및 제3좌표 변환 벡터에 따른 좌표 변환 오차를 최소화시키는 목적 함수를 이용하여, 상기 내부 파라미터, 상기 제2 및 제3좌표 변환 벡터를 갱신하는
    이종 센서 캘리브레이션 방법.
  6. 제 5항에 있어서,
    상기 내부 파라미터, 상기 제2 및 제3좌표 변환 벡터를 갱신하는 단계는
    카메라 센서인 상기 제1센서의 글로벌 프레임에 포함된 체커보드의 기준 코너점의 좌표와, 상기 제1지점에 위치한 상기 체커보드의 기준 코너점에 대한 제1변환 좌표 사이의 거리를, 상기 좌표 변환 오차에 포함되는 제1오차로 계산하며,
    상기 제1변환 좌표는,
    상기 제1지점에 위치한 상기 체커보드의 기준 코너점의 월드 좌표계의 좌표로부터 상기 제1센서의 센서 좌표계의 좌표로 변환된 좌표인
    이종 센서 캘리브레이션 방법.
  7. 제 6항에 있어서,
    상기 내부 파라미터, 상기 제2 및 제3좌표 변환 벡터를 갱신하는 단계는
    상기 제1센서가 어안 렌즈를 이용하는 카메라 센서인 경우, 하기 수학식을 이용하여, 상기 제1오차를 계산하는
    이종 센서 캘리브레이션 방법.
    [수학식]
    Figure PCTKR2021002642-appb-img-000040
    여기서,
    Figure PCTKR2021002642-appb-img-000041
    는 상기 제1센서의 글로벌 프레임에 포함된 체커보드의 기준 코너점의 센서 좌표계의 좌표이며,
    Figure PCTKR2021002642-appb-img-000042
    는 상기 제1지점에 위치한 체커보드의 기준 코너점의 월드 좌표계의 좌표에, 상기 제3좌표 변환 벡터 및 상기 제1센서에 대한 제2좌표 변환 벡터가 컴포지션된 좌표를 나타냄.
  8. 제 5항에 있어서,
    상기 내부 파라미터, 상기 제2 및 제3좌표 변환 벡터를 갱신하는 단계는
    카메라 센서인 상기 제1센서의 글로벌 프레임에 포함된 체커 보드를 3차원 평면으로 모델링하는 단계; 및
    라이다 센서인 상기 제2센서의 포인트 클라우드에 포함된 포인트 중 하나와 상기 3차원 평면 사이의 거리를, 상기 좌표 변환 오차에 포함되는 제2오차로 계산하는 단계
    를 포함하는 이종 센서 캘리브레이션 방법.
  9. 제 8항에 있어서,
    상기 제2오차는
    상기 3차원 평면에 대한 평면 파라미터 및 상기 제1지점에 위치한 상기 체커보드의 기준 코너점에 대한 제2변환 좌표를 통해 계산되며,
    상기 제2변환 좌표는
    상기 제1지점에 위치한 상기 체커보드의 기준 코너점의 월드 좌표계의 좌표로부터 상기 제2센서의 센서 좌표계의 좌표로 변환된 좌표인
    이종 센서 캘리브레이션 방법.
  10. 제 5항에 있어서,
    상기 내부 파라미터, 상기 제2 및 제3좌표 변환 벡터를 갱신하는 단계는
    카메라 센서인 상기 제1센서의 로컬 프레임에 포함된 체커보드의 기준 코너점의 좌표와, 제3지점에 위치하는 상기 체커보드의 기준 코너점에 대한 제3변환 좌표 사이의 거리를, 상기 좌표 변환 오차에 포함되는 제3오차로 계산하며,
    상기 제3변환 좌표는,
    다른 센서의 프레임에 포함되지 않는 상기 제3지점에 위치한 상기 체커보드의 기준 코너점의 월드 좌표로부터 상기 제1센서의 센서 좌표계의 좌표로 변환된 좌표인
    이종 센서 캘리브레이션 방법.
  11. 적어도 하나의 라이다 센서;
    복수의 카메라 센서; 및
    상기 라이다 센서 및 카메라 센서에 의해 생성된, 체커보드가 포함된 프레임을 이용하여, 상기 카메라 센서의 내부 파라미터를 생성하고, 상기 라이다 센서 및 상기 카메라 센서의 외부 파라미터를 생성하는 파라미터 생성부를 포함하며,
    상기 파라미터 생성부는 글로벌 프레임 및 로컬 프레임을 이용하여, 상기 내부 및 외부 파라미터를 갱신하며,
    상기 글로벌 프레임은, 복수의 센서에 의해 관측된 상기 체커보드를 포함하는 프레임 또는 포인트 클라우드이며,
    상기 로컬 프레임은, 단일 센서에 의해 관측된 상기 체커보드를 포함하는 프레임 또는 포인트 클라우드인
    이종 센서 캘리브레이션 장치.
  12. 제 11항에 있어서,
    상기 외부 파라미터는
    상기 라이다 센서 및 카메라 센서의 센서 좌표계와 체커보드 좌표계 사이의 제1좌표 변환 벡터, 월드 좌표계와 상기 센서 좌표계 사이의 제2좌표 변환 벡터 및 상기 체커보드 좌표계와 상기 월드 좌표계 사이의 제3좌표 변환 벡터를 포함하며,
    상기 파라미터 생성부는
    상기 내부 파라미터, 상기 제2좌표 변환 벡터 및 상기 제3좌표 변환 벡터를 갱신하는
    이종 센서 캘리브레이션 장치.
PCT/KR2021/002642 2020-03-12 2021-03-04 단일 체커보드를 이용하는 이종 센서 캘리브레이션 방법 및 장치 WO2021182793A1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR10-2020-0030674 2020-03-12
KR20200030674 2020-03-12
KR10-2020-0078349 2020-06-26
KR1020200078349A KR102438490B1 (ko) 2020-03-12 2020-06-26 단일 체커보드를 이용하는 이종 센서 캘리브레이션 방법 및 장치

Publications (1)

Publication Number Publication Date
WO2021182793A1 true WO2021182793A1 (ko) 2021-09-16

Family

ID=77670770

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2021/002642 WO2021182793A1 (ko) 2020-03-12 2021-03-04 단일 체커보드를 이용하는 이종 센서 캘리브레이션 방법 및 장치

Country Status (1)

Country Link
WO (1) WO2021182793A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023077827A1 (zh) * 2021-11-08 2023-05-11 南京理工大学 一种用于多传感器标定的三维塔式棋盘格以及基于该棋盘格的雷达与相机的联合标定方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180055292A (ko) * 2016-11-16 2018-05-25 국민대학교산학협력단 다중 라이다 좌표계 통합 방법
US10089753B1 (en) * 2017-07-05 2018-10-02 Almotive Kft. Method, system and computer-readable medium for camera calibration
KR101978830B1 (ko) * 2017-12-19 2019-05-15 전자부품연구원 이종 센서의 감지 결과 정합 시스템 및 방법
KR102021202B1 (ko) * 2017-12-18 2019-09-11 전자부품연구원 다중 센서의 단일 3차원 좌표계 통합을 위한 캘리브레이션 방법
KR102054455B1 (ko) * 2018-09-28 2019-12-10 재단법인대구경북과학기술원 이종 센서 간의 캘리브레이션 장치 및 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180055292A (ko) * 2016-11-16 2018-05-25 국민대학교산학협력단 다중 라이다 좌표계 통합 방법
US10089753B1 (en) * 2017-07-05 2018-10-02 Almotive Kft. Method, system and computer-readable medium for camera calibration
KR102021202B1 (ko) * 2017-12-18 2019-09-11 전자부품연구원 다중 센서의 단일 3차원 좌표계 통합을 위한 캘리브레이션 방법
KR101978830B1 (ko) * 2017-12-19 2019-05-15 전자부품연구원 이종 센서의 감지 결과 정합 시스템 및 방법
KR102054455B1 (ko) * 2018-09-28 2019-12-10 재단법인대구경북과학기술원 이종 센서 간의 캘리브레이션 장치 및 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023077827A1 (zh) * 2021-11-08 2023-05-11 南京理工大学 一种用于多传感器标定的三维塔式棋盘格以及基于该棋盘格的雷达与相机的联合标定方法
US11960034B2 (en) 2021-11-08 2024-04-16 Nanjing University Of Science And Technology Three-dimensional towered checkerboard for multi-sensor calibration, and LiDAR and camera joint calibration method based on the checkerboard

Similar Documents

Publication Publication Date Title
WO2012161431A2 (ko) 차량 어라운드 뷰 영상 생성 방법
WO2021112462A1 (ko) 2차원 영상의 픽셀별 3차원 좌표값 추정 방법 및 이를 이용한 자율주행정보 추정 방법
WO2014185710A1 (ko) Tiled display에서 3d 영상을 보정하는 방법 및 장치
WO2021187793A1 (ko) 카메라와 레이더 센서 융합 기반 3차원 객체 검출을 위한 전자 장치 및 그의 동작 방법
WO2020140431A1 (zh) 相机位姿确定方法、装置、电子设备及存储介质
WO2019139243A1 (ko) 자율주행을 위한 고정밀 지도의 업데이트 장치 및 방법
WO2018066754A1 (ko) 라이다 센서를 이용한 차량의 자세 추정 방법
JPH11252440A (ja) 画像を整列させて目標点にカメラを固定する方法及び装置
WO2020075954A1 (ko) 다종 센서 기반의 위치인식 결과들을 혼합한 위치 측위 시스템 및 방법
CN113551665B (zh) 一种用于运动载体的高动态运动状态感知系统及感知方法
CN111489288B (zh) 一种图像的拼接方法和装置
WO2021075772A1 (ko) 복수 영역 검출을 이용한 객체 탐지 방법 및 그 장치
WO2020235734A1 (ko) 모노카메라를 이용한 자율주행 차량의 거리 및 위치 추정 방법
WO2021025364A1 (ko) 라이다와 카메라를 이용하여 이미지 특징점의 깊이 정보를 향상시키는 방법 및 시스템
WO2020071619A1 (ko) 정밀 지도 업데이트 장치 및 방법
WO2021182793A1 (ko) 단일 체커보드를 이용하는 이종 센서 캘리브레이션 방법 및 장치
WO2015160052A1 (ko) 광각 렌즈 이미지 보정 방법 및 그 장치
WO2019054593A1 (ko) 기계학습과 이미지 프로세싱을 이용한 지도 제작 장치
WO2020189909A2 (ko) 3d-vr 멀티센서 시스템 기반의 도로 시설물 관리 솔루션을 구현하는 시스템 및 그 방법
WO2015056826A1 (ko) 카메라의 영상 처리 장치 및 방법
CN113436267B (zh) 视觉惯导标定方法、装置、计算机设备和存储介质
CN110991085B (zh) 一种机器人图像仿真数据的构建方法、介质、终端和装置
WO2021221334A1 (ko) Gps정보 및 라이다 신호를 기초로 형성되는 컬러 맵 생성 장치 및 그 제어방법
WO2018186507A1 (ko) 가정된 캘리브레이션 모델 없이 측정된 데이터를 이용하여 캘리브레이션을 수행하는 방법 및 상기 방법을 수행하는 3차원 스캐너 캘리브레이션 시스템
KR102438490B1 (ko) 단일 체커보드를 이용하는 이종 센서 캘리브레이션 방법 및 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21768024

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 02.02.2023)

122 Ep: pct application non-entry in european phase

Ref document number: 21768024

Country of ref document: EP

Kind code of ref document: A1