KR102498435B1 - Apparatus and method for calibration of sensor system of autonomous vehicle - Google Patents

Apparatus and method for calibration of sensor system of autonomous vehicle Download PDF

Info

Publication number
KR102498435B1
KR102498435B1 KR1020210012475A KR20210012475A KR102498435B1 KR 102498435 B1 KR102498435 B1 KR 102498435B1 KR 1020210012475 A KR1020210012475 A KR 1020210012475A KR 20210012475 A KR20210012475 A KR 20210012475A KR 102498435 B1 KR102498435 B1 KR 102498435B1
Authority
KR
South Korea
Prior art keywords
point cloud
cloud data
driving
sensor
stereo camera
Prior art date
Application number
KR1020210012475A
Other languages
Korean (ko)
Other versions
KR20220109537A (en
Inventor
김민영
최지동
Original Assignee
경북대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 경북대학교 산학협력단 filed Critical 경북대학교 산학협력단
Priority to KR1020210012475A priority Critical patent/KR102498435B1/en
Publication of KR20220109537A publication Critical patent/KR20220109537A/en
Application granted granted Critical
Publication of KR102498435B1 publication Critical patent/KR102498435B1/en

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0248—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means in combination with a laser
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0002—Automatic control, details of type of controller or control system architecture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0043—Signal treatments, identification of variables or parameters, parameter estimation or state estimation
    • B60W2050/0057—Frequency analysis, spectral techniques or transforms
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0062—Adapting control system settings
    • B60W2050/0075—Automatic parameter input, automatic initialising or calibrating means
    • B60W2050/0083—Setting, resetting, calibration
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo or light sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/42—Image sensing, e.g. optical camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10044—Radar image

Abstract

특별한 마커나 특정한 보정 물체 없이 자율주행 자동차가 주행 중일 때 주변 객체를 이용하여 센서 보정을 수행할 수 있는 자율주행 자동차의 센서 시스템 교정 장치 및 그 방법이 개시된다. 본 발명의 실시예에 따른 자율주행 자동차의 센서 시스템 교정 장치는: 자율주행 자동차가 주행하는 동안 상기 자율주행 자동차의 주변에 위치하는 객체들에 대해 카메라 데이터를 생성하도록 구성되는 스테레오 카메라; 상기 스테레오 카메라에 의해 생성되는 2 이상의 카메라 데이터를 병합하여 제1 포인트 클라우드 데이터를 생성하도록 구성되는 카메라 데이터 병합부; 상기 자율주행 자동차가 주행하는 동안 상기 객체들에 대해 라이다 데이터를 생성하도록 구성되는 라이다 센서; 상기 라이다 센서에 의해 생성되는 2 이상의 라이다 데이터를 병합하여 제2 포인트 클라우드 데이터를 생성하도록 구성되는 라이다 데이터 병합부; 상기 제1 포인트 클라우드 데이터와 상기 제2 포인트 클라우드 데이터 간의 변환 정보를 산출하도록 구성되는 변환정보 산출부; 및 상기 변환 정보를 기반으로 상기 스테레오 카메라 및 상기 라이다 센서를 보정하도록 구성되는 보정부를 포함한다.An apparatus and method for calibrating a sensor system of an autonomous vehicle capable of performing sensor calibration using a surrounding object while the autonomous vehicle is driving without a special marker or a specific calibration object are disclosed. An apparatus for calibrating a sensor system of an autonomous vehicle according to an embodiment of the present invention includes: a stereo camera configured to generate camera data for objects located around the autonomous vehicle while the autonomous vehicle is driving; a camera data merging unit configured to generate first point cloud data by merging two or more camera data generated by the stereo camera; a lidar sensor configured to generate lidar data for the objects while the self-driving vehicle is driving; a lidar data merging unit configured to generate second point cloud data by merging two or more lidar data generated by the lidar sensor; a conversion information calculator configured to calculate conversion information between the first point cloud data and the second point cloud data; and a correction unit configured to correct the stereo camera and the LIDAR sensor based on the conversion information.

Description

자율주행 자동차의 센서 시스템 교정 장치 및 그 방법{Apparatus and method for calibration of sensor system of autonomous vehicle}Apparatus and method for calibration of sensor system of autonomous vehicle}

본 발명은 자율주행 자동차의 센서 시스템 교정 장치 및 그 방법에 관한 것으로, 보다 상세하게는 특별한 마커나 특정한 보정 물체 없이 자율주행 자동차가 주행 중일 때 주변 객체를 이용하여 센서 보정을 수행할 수 있는 자율주행 자동차의 센서 시스템 교정 장치 및 그 방법에 관한 것이다.The present invention relates to an apparatus and method for calibrating a sensor system of an autonomous vehicle, and more particularly, to an autonomous driving vehicle capable of performing sensor calibration using a surrounding object while the autonomous vehicle is driving without a special marker or a specific calibration object. It relates to an apparatus for calibrating a sensor system of a vehicle and a method therefor.

자율주행 차를 위한 카메라와 라이다 센서의 장단점을 보완하는 센서 퓨전 연구가 활발하게 진행되고 있다. 스테레오 카메라에서 획득한 3D 데이터와, 라이다 센서에서 획득한 3D 데이터를 둘 다 활용하면, 안정적인 자율주행 시스템을 구축할 수 있다. 또한, 스테레오 카메라와 라이다 센서의 시야(field of view) 범위가 다르므로, 두 센서를 퓨전하여 사용할 경우 거리별로 좀 더 정확한 깊이 값을 이용할 수 있다.Sensor fusion research that complements the strengths and weaknesses of cameras and lidar sensors for self-driving cars is being actively conducted. By using both the 3D data acquired from the stereo camera and the 3D data obtained from the LiDAR sensor, a stable autonomous driving system can be built. In addition, since the field of view ranges of the stereo camera and the lidar sensor are different, a more accurate depth value can be used for each distance when the two sensors are fused and used.

스테레오 카메라와 라이다 센서를 보정하여 사용할 경우 좀 더 정확한 객체를 탐지할 수 있다. 스테레오 카메라와 라이다 센서의 보정을 위한 종래의 기술들은 특별한 마커나 특정한 보정 물체를 이용하는 방식으로, 센서 보정에 불편함이 있으며, 자율주행 자동차의 주행 중에 실시간으로 센서 보정을 할 수 없는 제약이 있다.If the stereo camera and LiDAR sensor are calibrated and used, more accurate object detection is possible. Conventional techniques for calibrating stereo cameras and lidar sensors use special markers or specific calibration objects, which are inconvenient for sensor calibration, and have limitations in that sensors cannot be calibrated in real time while driving an autonomous vehicle. .

본 발명은 특별한 마커나 특정한 보정 물체 없이 자율주행 자동차가 주행 중일 때 주변 객체를 이용하여 센서 보정을 수행할 수 있는 자율주행 자동차의 센서 시스템 교정 장치 및 그 방법을 제공하기 위한 것이다.An object of the present invention is to provide an apparatus and method for calibrating a sensor system of an autonomous vehicle that can perform sensor calibration using a surrounding object while the autonomous vehicle is driving without a special marker or a specific calibration object.

본 발명의 실시예에 따른 자율주행 자동차의 센서 시스템 교정 장치는: 자율주행 자동차가 주행하는 동안 상기 자율주행 자동차의 주변에 위치하는 객체들에 대해 카메라 데이터를 생성하도록 구성되는 스테레오 카메라; 상기 스테레오 카메라에 의해 생성되는 2 이상의 카메라 데이터를 병합하여 제1 포인트 클라우드 데이터를 생성하도록 구성되는 카메라 데이터 병합부; 상기 자율주행 자동차가 주행하는 동안 상기 객체들에 대해 라이다 데이터를 생성하도록 구성되는 라이다 센서; 상기 라이다 센서에 의해 생성되는 2 이상의 라이다 데이터를 병합하여 제2 포인트 클라우드 데이터를 생성하도록 구성되는 라이다 데이터 병합부; 상기 제1 포인트 클라우드 데이터와 상기 제2 포인트 클라우드 데이터 간의 변환 정보를 산출하도록 구성되는 변환정보 산출부; 및 상기 변환 정보를 기반으로 상기 스테레오 카메라 및 상기 라이다 센서를 보정하도록 구성되는 보정부를 포함한다.An apparatus for calibrating a sensor system of an autonomous vehicle according to an embodiment of the present invention includes: a stereo camera configured to generate camera data for objects located around the autonomous vehicle while the autonomous vehicle is driving; a camera data merging unit configured to generate first point cloud data by merging two or more camera data generated by the stereo camera; a lidar sensor configured to generate lidar data for the objects while the self-driving vehicle is driving; a lidar data merging unit configured to generate second point cloud data by merging two or more lidar data generated by the lidar sensor; a conversion information calculator configured to calculate conversion information between the first point cloud data and the second point cloud data; and a correction unit configured to correct the stereo camera and the LIDAR sensor based on the conversion information.

상기 변환정보 산출부는: ICP 알고리즘을 이용하여 상기 제1 포인트 클라우드 데이터와 상기 제2 포인트 클라우드 데이터 간의 회전 행렬 및 이동 행렬을 구하여 상기 변환 정보를 산출하도록 구성될 수 있다.The conversion information calculation unit may be configured to calculate the conversion information by obtaining a rotation matrix and a movement matrix between the first point cloud data and the second point cloud data using an ICP algorithm.

상기 보정부는: 상기 회전 행렬 및 상기 이동 행렬을 기반으로 상기 라이다 센서에 의해 획득된 포인트 클라우드 데이터를 상기 스테레오 카메라의 이미지 평면에 투영하여 상기 라이다 센서를 보정하도록 구성될 수 있다.The correction unit may be configured to: correct the lidar sensor by projecting point cloud data obtained by the lidar sensor to an image plane of the stereo camera based on the rotation matrix and the movement matrix.

상기 보정부는: 상기 자율주행 자동차의 주행 중에 실시간으로 상기 제1 포인트 클라우드 데이터와 상기 제2 포인트 클라우드 데이터 간의 오차율을 확인하고; 상기 오차율이 설정된 기준 오차 이하인 경우, 상기 라이다 센서 및 상기 스테레오 카메라의 보정을 수행하지 않고; 상기 오차율이 상기 기준 오차 보다 큰 경우, 상기 라이다 센서 및 상기 스테레오 카메라를 보정하도록 구성될 수 있다.The correction unit: checks an error rate between the first point cloud data and the second point cloud data in real time while the autonomous vehicle is driving; When the error rate is equal to or less than a set standard error, correction of the lidar sensor and the stereo camera is not performed; When the error rate is greater than the reference error, it may be configured to correct the lidar sensor and the stereo camera.

본 발명의 실시예에 따른 자율주행 자동차의 센서 시스템 교정 장치는: 상기 자율주행 자동차의 주변 환경정보를 분석하여 상기 라이다 센서 및 상기 스테레오 카메라의 보정 시점을 결정하도록 구성되는 보정 제어부를 더 포함할 수 있다.An apparatus for calibrating a sensor system of a self-driving vehicle according to an embodiment of the present invention may further include: a correction control unit configured to determine a calibration point of the lidar sensor and the stereo camera by analyzing surrounding environment information of the self-driving vehicle. can

상기 보정 제어부는: 상기 자율주행 자동차의 주행 중에 상기 자율주행 자동차의 주변 환경 정보를 수집하도록 구성되는 주변환경정보 수집부; 수집된 상기 주변 환경 정보를 분석하여 상기 자율주행 자동차의 센서 보정 정확도를 예측하도록 구성되는 주변환경정보 분석부; 및 예측된 상기 센서 보정 정확도를 기반으로 상기 스테레오 카메라와 상기 라이다 센서의 보정 시점을 결정하도록 구성되는 보정시점 결정부를 포함할 수 있다.The correction control unit may include: a surrounding environment information collection unit configured to collect surrounding environment information of the self-driving vehicle while the self-driving vehicle is driving; a surrounding environment information analyzer configured to predict sensor calibration accuracy of the self-driving vehicle by analyzing the collected surrounding environment information; and a calibration time determining unit configured to determine a calibration time of the stereo camera and the LIDAR sensor based on the predicted sensor calibration accuracy.

본 발명의 실시예에 따른 자율주행 자동차의 센서 시스템 교정 방법은: 스테레오 카메라에 의해, 자율주행 자동차가 주행하는 동안 상기 자율주행 자동차의 주변에 위치하는 객체들에 대해 카메라 데이터를 생성하는 단계; 카메라 데이터 병합부에 의해, 상기 스테레오 카메라에 의해 생성되는 2 이상의 카메라 데이터를 병합하여 제1 포인트 클라우드 데이터를 생성하는 단계; 라이다 센서에 의해, 상기 자율주행 자동차가 주행하는 동안 상기 객체들에 대해 라이다 데이터를 생성하는 단계; 라이다 데이터 병합부에 의해, 상기 라이다 센서에 의해 생성되는 2 이상의 라이다 데이터를 병합하여 제2 포인트 클라우드 데이터를 생성하는 단계; 변환정보 산출부에 의해, 상기 제1 포인트 클라우드 데이터와 상기 제2 포인트 클라우드 데이터 간의 변환 정보를 산출하는 단계; 및 보정부에 의해, 상기 변환 정보를 기반으로 상기 스테레오 카메라 및 상기 라이다 센서를 보정하는 단계를 포함한다.A method for calibrating a sensor system of an autonomous vehicle according to an embodiment of the present invention includes: generating camera data for objects located around the autonomous vehicle while the autonomous vehicle is driving, using a stereo camera; generating first point cloud data by merging two or more camera data generated by the stereo camera by a camera data merging unit; Generating lidar data for the objects while the self-driving vehicle is driving by a lidar sensor; generating second point cloud data by merging two or more lidar data generated by the lidar sensor by a lidar data merging unit; calculating conversion information between the first point cloud data and the second point cloud data by a conversion information calculation unit; and calibrating the stereo camera and the LIDAR sensor based on the conversion information by a correction unit.

상기 변환 정보를 산출하는 단계는: ICP 알고리즘을 이용하여 상기 제1 포인트 클라우드 데이터와 상기 제2 포인트 클라우드 데이터 간의 회전 행렬 및 이동 행렬을 구하여 상기 변환 정보를 산출하는 단계를 포함할 수 있다.Calculating the conversion information may include calculating the conversion information by obtaining a rotation matrix and a movement matrix between the first point cloud data and the second point cloud data using an ICP algorithm.

상기 보정하는 단계는: 상기 회전 행렬 및 상기 이동 행렬을 기반으로 상기 라이다 센서에 의해 획득된 포인트 클라우드 데이터를 상기 스테레오 카메라의 이미지 평면에 투영하여 상기 라이다 센서를 보정하는 단계를 포함할 수 있다.The calibrating may include: calibrating the lidar sensor by projecting point cloud data acquired by the lidar sensor to an image plane of the stereo camera based on the rotation matrix and the movement matrix. .

상기 보정하는 단계는: 상기 자율주행 자동차의 주행 중에 실시간으로 상기 제1 포인트 클라우드 데이터와 상기 제2 포인트 클라우드 데이터 간의 오차율을 확인하는 단계; 상기 오차율이 설정된 기준 오차 이하인 경우, 상기 라이다 센서 및 상기 스테레오 카메라의 보정을 수행하지 않는 단계; 및 상기 오차율이 상기 기준 오차 보다 큰 경우, 상기 라이다 센서 및 상기 스테레오 카메라를 보정하는 단계를 포함할 수 있다.The correcting may include: checking an error rate between the first point cloud data and the second point cloud data in real time while the autonomous vehicle is driving; When the error rate is less than or equal to a set reference error, not performing correction of the lidar sensor and the stereo camera; and correcting the lidar sensor and the stereo camera when the error rate is greater than the reference error.

본 발명의 실시예에 따른 자율주행 자동차의 센서 시스템 교정 방법은: 보정 제어부에 의해, 상기 자율주행 자동차의 주변 환경정보를 분석하여 상기 라이다 센서 및 상기 스테레오 카메라의 보정 시점을 결정하는 단계를 더 포함할 수 있다.A method for calibrating a sensor system of an autonomous vehicle according to an embodiment of the present invention further includes determining, by a correction control unit, a calibration time point for the lidar sensor and the stereo camera by analyzing surrounding environment information of the autonomous vehicle. can include

상기 보정 시점을 결정하는 단계는: 상기 자율주행 자동차의 주행 중에 상기 자율주행 자동차의 주변 환경 정보를 수집하는 단계; 수집된 상기 주변 환경 정보를 분석하여 상기 자율주행 자동차의 센서 보정 정확도를 예측하는 단계; 및 예측된 상기 센서 보정 정확도를 기반으로 상기 스테레오 카메라와 상기 라이다 센서의 보정 시점을 결정하는 단계를 포함할 수 있다.The determining of the correction time point may include: collecting surrounding environment information of the self-driving car while the self-driving car is driving; predicting sensor calibration accuracy of the self-driving vehicle by analyzing the collected surrounding environment information; and determining calibration timings of the stereo camera and the LIDAR sensor based on the predicted sensor calibration accuracy.

본 발명의 실시예에 따르면, 상기 자율주행 자동차의 센서 시스템 교정 방법을 실행하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체가 제공된다.According to an embodiment of the present invention, a computer-readable recording medium in which a program for executing a method for calibrating a sensor system of an autonomous vehicle is recorded is provided.

본 발명의 실시예에 의하면, 특별한 마커나 특정한 보정 물체 없이 자율주행 자동차가 주행 중일 때 주변 객체를 이용하여 센서 보정을 수행할 수 있는 자율주행 자동차의 센서 시스템 교정 장치 및 그 방법이 제공된다.According to an embodiment of the present invention, an apparatus and method for calibrating a sensor system of an autonomous vehicle capable of performing sensor calibration using surrounding objects while the autonomous vehicle is running without a special marker or a specific calibration object are provided.

도 1은 본 발명의 실시예에 따른 자율주행 자동차의 센서 시스템 교정 장치의 구성도이다.
도 2는 본 발명의 실시예에 따른 자율주행 자동차의 센서 시스템 교정 방법의 순서도이다.
도 3은 도 2의 단계 S150을 설명하기 위한 개념도이다.
도 4 내지 도 5는 본 발명의 실시예에 따른 자율주행 자동차의 센서 시스템 교정 방법을 설명하기 위한 예시도이다.
도 6은 본 발명의 다른 실시예에 따른 자율주행 자동차의 센서 시스템 교정 장치를 구성하는 보정 제어부의 구성도이다.
도 7은 본 발명의 다른 실시예에 따른 자율주행 자동차의 센서 시스템 교정 방법의 순서도이다.1 is a block diagram of an apparatus for calibrating a sensor system of an autonomous vehicle according to an embodiment of the present invention.
2 is a flowchart of a method for calibrating a sensor system of an autonomous vehicle according to an embodiment of the present invention.
FIG. 3 is a conceptual diagram for explaining step S150 of FIG. 2 .
4 to 5 are exemplary diagrams for explaining a method for calibrating a sensor system of an autonomous vehicle according to an embodiment of the present invention.
6 is a configuration diagram of a correction control unit constituting an apparatus for calibrating a sensor system of an autonomous vehicle according to another embodiment of the present invention.
7 is a flowchart of a method for calibrating a sensor system of an autonomous vehicle according to another embodiment of the present invention.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.Advantages and features of the present invention, and methods of achieving them, will become clear with reference to the detailed description of the following embodiments taken in conjunction with the accompanying drawings. However, the present invention is not limited to the embodiments disclosed below, but may be implemented in various different forms, and only these embodiments make the disclosure of the present invention complete, and common knowledge in the art to which the present invention belongs. It is provided to completely inform the person who has the scope of the invention, and the present invention is only defined by the scope of the claims. Like reference numbers designate like elements throughout the specification.

본 명세서에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 본 명세서에서 사용되는 '~부'는 적어도 하나의 기능이나 동작을 처리하는 단위로서, 예를 들어 소프트웨어, FPGA 또는 하드웨어 구성요소를 의미할 수 있다. '~부'에서 제공하는 기능은 복수의 구성요소에 의해 분리되어 수행되거나, 다른 추가적인 구성요소와 통합될 수도 있다. 본 명세서의 '~부'는 반드시 소프트웨어 또는 하드웨어에 한정되지 않으며, 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고, 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 이하에서는 도면을 참조하여 본 발명의 실시예에 대해서 구체적으로 설명하기로 한다.In this specification, when a certain component is said to "include", it means that it may further include other components, not excluding other components unless otherwise stated. '~ unit' used in this specification is a unit that processes at least one function or operation, and may mean, for example, software, an FPGA, or a hardware component. The functions provided by '~part' may be performed separately by a plurality of components or may be integrated with other additional components. '~unit' in this specification is not necessarily limited to software or hardware, and may be configured to be in an addressable storage medium or configured to reproduce one or more processors. Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.

도 1은 본 발명의 실시예에 따른 자율주행 자동차의 센서 시스템 교정 장치의 구성도이다. 도 1을 참조하면, 본 발명의 실시예에 따른 자율주행 자동차의 센서 시스템 교정 장치(100)는 스테레오 카메라(110), 라이다 센서(120), 카메라 데이터 병합부(130), 라이다 데이터 병합부(140), 변환정보 산출부(150), 및 보정부(160)를 포함할 수 있다.1 is a block diagram of an apparatus for calibrating a sensor system of an autonomous vehicle according to an embodiment of the present invention. Referring to FIG. 1 , an apparatus for calibrating a sensor system of an autonomous vehicle 100 according to an embodiment of the present invention includes a stereo camera 110, a lidar sensor 120, a camera data merging unit 130, and a lidar data merging unit. It may include a unit 140, a conversion information calculation unit 150, and a correction unit 160.

스테레오 카메라(stereo camera)(110)는 자율주행 자동차에 장착될 수 있다. 스테레오 카메라(110)는 자율주행 자동차의 상부나 전방부, 측방부, 후방부 등에 장착될 수 있다. 스테레오 카메라(110)는 자율주행 자동차가 주행하는 동안 자율주행 자동차의 주변에 위치하는 다양한 객체들(예를 들어, 주변 자동차나 사람, 도로 상의 차선이나 지시선, 신호등, 안내표지판, 주변 지형지물 등)에 대해 카메라 데이터를 생성할 수 있다.A stereo camera 110 may be mounted on an autonomous vehicle. The stereo camera 110 may be mounted on the top, front, side, or rear of the autonomous vehicle. The stereo camera 110 captures various objects located around the self-driving car while the self-driving car is driving (eg, surrounding cars or people, lanes or indicators on the road, traffic lights, information signs, surrounding landmarks, etc.) Camera data can be created for .

라이다 센서(lidar sensor)(120)는 자율주행 자동차에 장착될 수 있다. 라이다 센서(120)는 자율주행 자동차의 상부나 전방부, 측방부, 후방부 등에 장착될 수 있다. 라이다 센서(120)는 스테레오 카메라(110)와 인접한 위치에 배치될 수 있다. 라이다 센서(120)는 자율주행 자동차가 주행하는 동안 자율주행 자동차의 주변에 위치하는 객체들에 대해 라이다 데이터를 생성할 수 있다.The lidar sensor 120 may be mounted on an autonomous vehicle. The lidar sensor 120 may be mounted on the top, front, side, rear, or the like of the self-driving vehicle. The lidar sensor 120 may be disposed adjacent to the stereo camera 110 . The lidar sensor 120 may generate lidar data for objects located around the self-driving car while the self-driving car is driving.

카메라 데이터 병합부(130)는 스테레오 카메라(110)에 의해 생성되는 2 이상의 카메라 데이터(다수의 카메라 포인트 클라우드 데이터)를 병합하여 제1 포인트 클라우드 데이터를 생성할 수 있다. 스테레오 카메라(110)에 의해 획득할 수 있는 포인트 클라우드(point cloud)를 병합하여 스테레오 카메라(110)와 라이다 센서(120) 간의 보정 정확도를 높일 수 있다.The camera data merging unit 130 may generate first point cloud data by merging two or more camera data (multiple camera point cloud data) generated by the stereo camera 110 . Correction accuracy between the stereo camera 110 and the LIDAR sensor 120 may be increased by merging point clouds that may be obtained by the stereo camera 110 .

라이다 데이터 병합부(140)는 라이다 센서(120)에 의해 생성되는 2 이상의 라이다 데이터(다수의 라이다 포인트 클라우드 데이터)를 병합하여 제2 포인트 클라우드 데이터를 생성할 수 있다. 라이다 센서(120)에 의해 획득할 수 있는 포인트 클라우드를 병합하여 스테레오 카메라(110)와 라이다 센서(120) 간의 보정 정확도를 높일 수 있다.The lidar data merging unit 140 may generate second point cloud data by merging two or more lidar data (a plurality of lidar point cloud data) generated by the lidar sensor 120 . Correction accuracy between the stereo camera 110 and the lidar sensor 120 may be increased by merging point clouds that may be obtained by the lidar sensor 120 .

변환정보 산출부(150)는 카메라 데이터 병합부(130)에 의해 생성된 제1 포인트 클라우드 데이터와, 라이다 데이터 병합부(140)에 의해 생성된 제2 포인트 클라우드 데이터 간의 변환 정보를 산출할 수 있다. 변환정보 산출부(150)는 반복 최근접점(ICP; Iterative Closest Point) 알고리즘을 이용하여 제1 포인트 클라우드 데이터와 제2 포인트 클라우드 데이터 간의 회전 행렬(rotation matrix) 및 이동 행렬(translation matrix)을 구하여 변환 정보를 산출할 수 있다. 변환정보 산출부(150)는 예를 들어 하기 수식 1을 이용하여 변환 정보를 산출할 수 있다.The conversion information calculation unit 150 may calculate conversion information between the first point cloud data generated by the camera data merging unit 130 and the second point cloud data generated by the lidar data merging unit 140. there is. The conversion information calculating unit 150 obtains a rotation matrix and a translation matrix between the first point cloud data and the second point cloud data using an iterative closest point (ICP) algorithm, and converts the result. information can be derived. The conversion information calculation unit 150 may calculate conversion information using Equation 1 below, for example.

[수식 1][Equation 1]

Figure 112021011618813-pat00001
Figure 112021011618813-pat00001

수식 1에서, ni는 카메라 데이터의 법선 벡터, RLp은 회전 행렬(rotation matrix), T는 이동 행렬(translation matrix), e는 카메라 데이터와 라이다 데이터 간의 오차, k는 보정에 활용되는 포인트 클라우드의 개수이다. 변환정보 산출부(150)는 카메라 데이터의 법선 벡터를 기준으로 가까운 라이다의 포인트 클라우드를 정렬하고, 수식 1의 오차 e를 최소화하는 회전 행렬과 이동 행렬을 도출하여 변환 정보를 산출할 수 있다.In Equation 1, n i is the normal vector of camera data, R Lp is a rotation matrix, T is a translation matrix, e is an error between camera data and LIDAR data, and k is a point used for correction. is the number of clouds. The conversion information calculation unit 150 may calculate conversion information by arranging the point cloud of a nearby lidar based on the normal vector of the camera data and deriving a rotation matrix and a movement matrix that minimize the error e of Equation 1.

보정부(160)는 변환정보 산출부(150)에 의해 산출된 변환 정보를 기반으로 스테레오 카메라(110) 및 라이다 센서(120)를 보정할 수 있다. 보정부(160)는 회전 행렬 및 이동 행렬을 기반으로 라이다 센서(120)에 의해 획득된 포인트 클라우드 데이터를 스테레오 카메라(110)의 이미지 평면에 투영하여 라이다 센서(120)를 보정할 수 있다.The correction unit 160 may correct the stereo camera 110 and the LIDAR sensor 120 based on the conversion information calculated by the conversion information calculation unit 150 . The correction unit 160 may correct the lidar sensor 120 by projecting the point cloud data obtained by the lidar sensor 120 to the image plane of the stereo camera 110 based on the rotation matrix and the movement matrix. .

실시예에서, 보정부(160)는 자율주행 자동차의 주행 중에 실시간으로 제1 포인트 클라우드 데이터와 제2 포인트 클라우드 데이터 간의 오차율을 확인하고, 오차율이 설정된 기준 오차 이하인 경우, 라이다 센서(120) 및 스테레오 카메라(110)의 보정을 수행하지 않을 수 있다.In an embodiment, the correction unit 160 checks an error rate between the first point cloud data and the second point cloud data in real time while the autonomous vehicle is driving, and when the error rate is less than a set reference error, the lidar sensor 120 and Calibration of the stereo camera 110 may not be performed.

포인트 클라우드 데이터 간의 오차율은 정합된 두 포인트 클라우드 데이터 간의 대응되는 점들 간의 거리들(예를 들어, 어느 한 포인트 클라우드 데이터의 점에서 가장 근접한 다른 포인트 클라우드 데이터의 점 간의 거리들)을 기초로 산출될 수 있다.The error rate between point cloud data may be calculated based on distances between corresponding points between two matched point cloud data (eg, distances between points of one point cloud data and closest points of another point cloud data). there is.

보정부(160)는 자율주행 자동차의 주행 중에 실시간으로 산출되는 오차율이 설정된 기준 오차 보다 큰 경우, 라이다 센서(120) 및 스테레오 카메라(110)를 보정할 수 있다.The correction unit 160 may correct the lidar sensor 120 and the stereo camera 110 when an error rate calculated in real time during driving of the autonomous vehicle is greater than a set reference error.

상술한 바와 같은 본 발명의 실시예에 따른 자율주행 자동차의 센서 시스템 교정 장치는 특별한 마커나 특정한 보정 물체를 필요로 하지 않고, 자율주행 자동차가 주행 중일 때 주변 객체들의 3D 형상을 이용하여 센서 보정이 가능하다.As described above, the sensor system calibration device for an autonomous vehicle according to an embodiment of the present invention does not require a special marker or a specific calibration object, and sensor calibration is performed using 3D shapes of surrounding objects while the autonomous vehicle is driving. possible.

또한, 본 발명의 실시예에 의하면, 자율주행 자동차가 주행하면서 실시간으로 오차율을 확인하여 오차율이 기준치보다 높은 경우 실시간으로 재보정이 가능하며, 포인트 클라우드의 누적 데이터를 활용함으로써 센서 보정의 정확도 및 정밀도를 높일 수 있다.In addition, according to an embodiment of the present invention, the error rate is checked in real time while the self-driving car is driving, and if the error rate is higher than the reference value, it is possible to recalibrate in real time, and the accuracy and precision of sensor calibration are utilized by using the accumulated data of the point cloud. can increase

따라서, 라이다 센서(120)와 스테레오 카메라(110) 간의 오차율이 기준치 보다 높은 경우에만 센서 보정이 수행되도록 하여 센서 보정이 필요 이상으로 과도하게 반복 수행되지 않도록 할 수 있으며, 센서 보정에 요구되는 연산 자원 소모를 최소화할 수 있다.Therefore, it is possible to perform sensor calibration only when the error rate between the lidar sensor 120 and the stereo camera 110 is higher than the reference value so that sensor calibration is not repeatedly performed more than necessary, and the calculation required for sensor calibration Resource consumption can be minimized.

도 2는 본 발명의 실시예에 따른 자율주행 자동차의 센서 시스템 교정 방법의 순서도이다. 도 1 및 도 2를 참조하면, 스테레오 카메라(110)는 자율주행 자동차가 주행하는 동안 자율주행 자동차의 주변에 위치하는 다양한 객체들(예를 들어, 주변 자동차나 사람, 도로 상의 차선이나 지시선, 신호등, 안내표지판, 주변 지형지물 등)에 대해 카메라 데이터를 생성할 수 있다(S110).2 is a flowchart of a method for calibrating a sensor system of an autonomous vehicle according to an embodiment of the present invention. Referring to FIGS. 1 and 2 , a stereo camera 110 captures various objects (eg, surrounding cars or people, lanes or indicators on the road, traffic lights) located around the self-driving car while the self-driving car is driving. , information signs, surrounding features, etc.) may generate camera data (S110).

라이다 센서(120)는 스테레오 카메라(110)와 인접한 위치에 배치될 수 있다. 라이다 센서(120)는 자율주행 자동차가 주행하는 동안 자율주행 자동차의 주변에 위치하는 객체들에 대해 라이다 데이터를 생성할 수 있다(S120).The lidar sensor 120 may be disposed adjacent to the stereo camera 110 . The lidar sensor 120 may generate lidar data for objects located around the self-driving car while the self-driving car is driving (S120).

카메라 데이터 병합부(130)는 스테레오 카메라(110)에 의해 생성되는 2 이상의 카메라 데이터(다수의 카메라 포인트 클라우드 데이터)를 병합하여 제1 포인트 클라우드 데이터를 생성할 수 있다(S130).The camera data merging unit 130 may generate first point cloud data by merging two or more camera data (multiple camera point cloud data) generated by the stereo camera 110 (S130).

라이다 데이터 병합부(140)는 라이다 센서(120)에 의해 생성되는 2 이상의 라이다 데이터(다수의 라이다 포인트 클라우드 데이터)를 병합하여 제2 포인트 클라우드 데이터를 생성할 수 있다(S140).The lidar data merging unit 140 may generate second point cloud data by merging two or more lidar data (a plurality of lidar point cloud data) generated by the lidar sensor 120 (S140).

변환정보 산출부(150)는 카메라 데이터 병합부(130)에 의해 생성된 제1 포인트 클라우드 데이터와, 라이다 데이터 병합부(140)에 의해 생성된 제2 포인트 클라우드 데이터 간의 변환 정보를 산출할 수 있다(S150).The conversion information calculation unit 150 may calculate conversion information between the first point cloud data generated by the camera data merging unit 130 and the second point cloud data generated by the lidar data merging unit 140. Yes (S150).

도 3은 도 2의 단계 S150을 설명하기 위한 개념도이다. 도 4 내지 도 5는 본 발명의 실시예에 따른 자율주행 자동차의 센서 시스템 교정 방법을 설명하기 위한 예시도로서, 도 4는 라이다 센서에 의해 획득된 라이다 데이터의 예시도이고, 도 5는 스테레오 카메라에 의해 획득된 스테레오 카메라 데이터의 예시도이다.FIG. 3 is a conceptual diagram for explaining step S150 of FIG. 2 . 4 to 5 are exemplary diagrams for explaining a method for calibrating a sensor system of an autonomous vehicle according to an embodiment of the present invention. FIG. 4 is an exemplary diagram of lidar data obtained by a lidar sensor, and FIG. It is an exemplary diagram of stereo camera data acquired by a stereo camera.

도 1 내지 도 5를 참조하면, 변환정보 산출부(150)는 ICP(Iterative Closest Point) 알고리즘을 이용하여 제1 포인트 클라우드 데이터(10)와 제2 포인트 클라우드 데이터(20) 간의 회전 행렬(rotation matrix) 및 이동 행렬(translation matrix)을 구하여 변환 정보(30)를 산출할 수 있다.1 to 5, the conversion information calculation unit 150 uses an iterative closest point (ICP) algorithm to perform a rotation matrix between the first point cloud data 10 and the second point cloud data 20. ) and a translation matrix, the transformation information 30 may be calculated.

보정부(160)는 변환정보 산출부(150)에 의해 산출된 변환 정보를 기반으로 스테레오 카메라(110) 및 라이다 센서(120)를 보정할 수 있다(S160). 보정부(160)는 회전 행렬 및 이동 행렬을 기반으로 라이다 센서(120)에 의해 획득된 포인트 클라우드 데이터를 스테레오 카메라의 이미지 평면에 투영하여 라이다 센서(120)를 보정할 수 있다.The correction unit 160 may correct the stereo camera 110 and the lidar sensor 120 based on the conversion information calculated by the conversion information calculation unit 150 (S160). The correction unit 160 may correct the lidar sensor 120 by projecting the point cloud data acquired by the lidar sensor 120 to the image plane of the stereo camera based on the rotation matrix and the movement matrix.

실시예에서, 보정부(160)는 자율주행 자동차의 주행 중에 실시간으로 제1 포인트 클라우드 데이터와 제2 포인트 클라우드 데이터 간의 오차율을 확인하고, 오차율이 설정된 기준 오차 이하인 경우, 라이다 센서(120) 및 스테레오 카메라(110)의 보정을 수행하지 않을 수 있다.In an embodiment, the correction unit 160 checks an error rate between the first point cloud data and the second point cloud data in real time while the autonomous vehicle is driving, and when the error rate is less than a set reference error, the lidar sensor 120 and Calibration of the stereo camera 110 may not be performed.

보정부(160)는 자율주행 자동차의 주행 중에 실시간으로 산출되는 오차율이 설정된 기준 오차 보다 큰 경우, 라이다 센서(120) 및 스테레오 카메라(110)를 보정할 수 있다.The correction unit 160 may correct the lidar sensor 120 and the stereo camera 110 when an error rate calculated in real time during driving of the autonomous vehicle is greater than a set reference error.

상술한 바와 같은 본 발명의 실시예에 따른 자율주행 자동차의 센서 시스템 교정 방법에 의하면, 특별한 마커나 특정한 보정 물체를 필요로 하지 않고, 자율주행 자동차가 주행 중일 때 주변 객체들의 3D 형상을 이용하여 센서 보정이 가능하다.As described above, according to the method for calibrating a sensor system of an autonomous vehicle according to an embodiment of the present invention, a sensor using 3D shapes of surrounding objects while an autonomous vehicle is driving without requiring a special marker or a specific calibration object. correction is possible

또한, 본 발명의 실시예에 의하면, 변환 행렬을 이용하여 라이다 포인트 클라우드를 스테레오 카메라의 카메라 이미지 평면상으로 투영하여 평균 거리 오차를 측정한 결과, X축, Y축 모두 10 픽셀 이하로 측정되었으며, 비교적 정확히 라이다 센서와 스테레오 카메라가 맵핑되는 것을 알 수 있다.In addition, according to an embodiment of the present invention, as a result of measuring the average distance error by projecting the LIDAR point cloud onto the camera image plane of the stereo camera using a transformation matrix, both the X and Y axes were measured to be 10 pixels or less. , it can be seen that the lidar sensor and the stereo camera are mapped relatively accurately.

또한, 본 발명의 실시예에 의하면, 자율주행 자동차가 주행하면서 실시간으로 오차율을 확인하여 오차율이 기준치보다 높은 경우 실시간으로 재보정이 가능하며, 포인트 클라우드의 누적 데이터를 활용함으로써 센서 보정의 정확도 및 정밀도를 높일 수 있다.In addition, according to an embodiment of the present invention, the error rate is checked in real time while the self-driving car is driving, and if the error rate is higher than the reference value, it is possible to recalibrate in real time, and the accuracy and precision of sensor calibration are utilized by using the accumulated data of the point cloud. can increase

따라서, 라이다 센서(120)와 스테레오 카메라(110) 간의 오차율이 기준치 보다 높은 경우에만 센서 보정이 수행되도록 하여 센서 보정이 필요 이상으로 과도하게 반복 수행되지 않도록 할 수 있으며, 센서 보정에 요구되는 연산 자원 소모를 최소화할 수 있다.Therefore, it is possible to perform sensor calibration only when the error rate between the lidar sensor 120 and the stereo camera 110 is higher than the reference value so that sensor calibration is not repeatedly performed more than necessary, and the calculation required for sensor calibration Resource consumption can be minimized.

도 6은 본 발명의 다른 실시예에 따른 자율주행 자동차의 센서 시스템 교정 장치를 구성하는 보정 제어부의 구성도이다. 도 7은 본 발명의 다른 실시예에 따른 자율주행 자동차의 센서 시스템 교정 방법의 순서도이다. 도 6 및 도 7을 참조하면, 보정 제어부(170)는 자율주행 자동차의 주변 환경정보를 분석하여 라이다 센서(120) 및 스테레오 카메라(110)의 보정 시점을 결정할 수 있다.6 is a configuration diagram of a correction control unit constituting an apparatus for calibrating a sensor system of an autonomous vehicle according to another embodiment of the present invention. 7 is a flowchart of a method for calibrating a sensor system of an autonomous vehicle according to another embodiment of the present invention. Referring to FIGS. 6 and 7 , the correction control unit 170 may determine a correction time point for the lidar sensor 120 and the stereo camera 110 by analyzing surrounding environment information of the self-driving vehicle.

보정 제어부(170)는 주변환경정보 수집부(172), 주변환경정보 분석부(174), 및 보정시점 결정부(176)를 포함할 수 있다. 주변환경정보 수집부(172)는 자율주행 자동차의 주행 중에 자율주행 자동차의 주변 환경 정보를 수집할 수 있다(S172).The correction control unit 170 may include a surrounding environment information collection unit 172 , a surrounding environment information analysis unit 174 , and a correction time determination unit 176 . The surrounding environment information collection unit 172 may collect surrounding environment information of the self-driving vehicle while the self-driving vehicle is driving (S172).

주변환경정보 분석부(174)는 주변환경정보 수집부(172)에 의해 수집된 주변 환경 정보를 분석하여 자율주행 자동차의 센서 보정 정확도를 예측할 수 있다(S174).The surrounding environment information analyzer 174 may analyze the surrounding environment information collected by the surrounding environment information collection unit 172 to predict sensor calibration accuracy of the self-driving vehicle (S174).

보정시점 결정부(176)는 주변환경정보 분석부(174)에 의해 예측된 센서 보정 정확도를 기반으로 스테레오 카메라(110)와 라이다 센서(120)의 보정 시점을 결정할 수 있다(S176).The correction time determination unit 176 may determine the correction time of the stereo camera 110 and the LIDAR sensor 120 based on the sensor calibration accuracy predicted by the surrounding environment information analysis unit 174 (S176).

보정 제어부(170)는 예를 들어, 자율주행 자동차의 주행 중에 가속도 센서 등을 통해 수집되는 진동 정보, 충격 정보, 등을 수집하여 설정된 기준 보다 큰 진동이나 충격이 발생한 경우, 스테레오 카메라(110)와 라이다 센서(120) 간의 보정이 필요하다고 판단하여 센서 보정을 위한 프로세스를 개시할 수 있다.For example, the correction control unit 170 collects vibration information, shock information, etc. collected through an acceleration sensor while the autonomous vehicle is driving, and when a vibration or shock greater than a set standard occurs, the stereo camera 110 and A process for sensor calibration may be initiated by determining that calibration between lidar sensors 120 is necessary.

또한, 보정 제어부(170)는 설정된 주기 동안 진동 정보, 충격 정보, 등을 수집하여 통계 처리(예를 들어, 평균 산출)를 통해 센서 보정을 위한 보정 주기를 결정할 수도 있다. 이 경우, 평균적인 진동/충격 값이 클수록 센서 보정 주기가 단축되고, 반대로 진동/충격의 평균값이 낮을수록 센서 보정 주기가 증가될 수 있다.In addition, the calibration control unit 170 may collect vibration information, impact information, and the like during a set period and determine a correction period for sensor correction through statistical processing (eg, average calculation). In this case, the sensor calibration cycle may be shortened as the average value of vibration/impact increases, and conversely, the sensor calibration cycle may increase as the average value of vibration/impact decreases.

보정 제어부(170)는 진동 정보, 충격 정보 외에 도로 주행과 관련된 정보를 기반으로 라이다 센서와 스테레오 카메라 간의 보정을 위한 보정 주기 및/또는 보정 시점을 결정할 수도 있다. 도로 주행 관련 정보는 예를 들어, 차량이 주행하는 도로의 유형(예를 들어, 고속도로, 골목길, 비포장 도로 등), 차량의 주행 속도 데이터, 차량 주행 시간대 등일 수 있다.The correction control unit 170 may determine a correction period and/or a correction time point for correction between the lidar sensor and the stereo camera based on road driving information in addition to vibration information and impact information. Road driving-related information may include, for example, the type of road on which the vehicle is driving (eg, highway, alley, unpaved road, etc.), vehicle driving speed data, vehicle driving time zone, and the like.

예를 들어, 차량이 비포장 도로에서 주행할 경우 라이다 센서와 스테레오 카메라 간의 보정이 틀어질 가능성이 상대적으로 커지므로, 보정 제어부(170)는 비포장 도로에서의 주행 시간에 비례하여 보정 주기 또는 보정 시기를 단축할 수 있다. 반대로, 비포장 도로에서의 주행 시간이 상대적으로 짧은 경우, 보정 주기 또는 보정 시기가 연장될 수 있다.For example, when the vehicle is driving on an unpaved road, since the possibility of misalignment between the lidar sensor and the stereo camera is relatively high, the correction control unit 170 adjusts the correction period or correction period in proportion to the driving time on the unpaved road. can be shortened. Conversely, when the driving time on the unpaved road is relatively short, the correction period or correction period may be extended.

다른 예로, 차량이 저속으로 주행하는 경우보다 고속으로 주행할 때 라이다 센서와 스테레오 카메라 간의 보정이 틀어질 가능성이 상대적으로 커지므로, 보정 제어부(170)는 차량의 주행 속도가 기준 속도 이상인 주행 시간(고속 주행 시간)에 비례하여 보정 주기 또는 보정 시기를 단축할 수 있다. 반대로, 고속 주행 시간이 짧을수록, 보정 주기 또는 보정 시기가 연장될 수 있다.As another example, since the possibility of misalignment between the lidar sensor and the stereo camera is relatively greater when the vehicle travels at high speed than when the vehicle travels at low speed, the correction controller 170 determines the driving time when the driving speed of the vehicle is equal to or greater than the reference speed. The correction cycle or correction period can be shortened in proportion to (high-speed travel time). Conversely, the shorter the high-speed travel time, the longer the correction period or correction period.

또 다른 예로, 조도에 민감한 스테레오 카메라의 경우 야간에 스테레오 카메라의 측정 정확도가 낮아져 스테레오 카메라의 활용도가 낮으므로, 라이다 센서와 스테레오 카메라 간의 보정 필요성이 낮으며, 보정을 하더라도 보정 정확도가 낮아진다. 따라서 보정 제어부(170)는 야간 등과 같이 스테레오 카메라의 정확도가 낮은 시간대 보다 주간 등과 같이 스테레오 카메라의 정확도가 높은 시간대에 센서 보정을 하도록 보정 시점을 결정할 수 있다.As another example, in the case of a stereo camera that is sensitive to illumination, the measurement accuracy of the stereo camera is lowered at night, so the use of the stereo camera is low, so the need for calibration between the lidar sensor and the stereo camera is low, and even if the calibration is performed, the calibration accuracy is lowered. Accordingly, the calibration controller 170 may determine a calibration time point to perform sensor calibration during a time period in which the accuracy of the stereo camera is high, such as during the day, rather than a time period in which the accuracy of the stereo camera is low, such as at night.

보정 제어부(170)는 가속도 센서, 진동 센서 외에도, 차량의 주행 환경과 관련된 정보를 제공하는 하나 이상의 서버(기상청 서버, 전자지도 서버 등) 혹은 네비게이션 시스템 등으로부터 주변 환경 정보를 수집할 수 있다. 또 다른 예로, 보정 제어부(170)는 스테레오 카메라에 의해 획득되는 영상을 분석하여 조도나 주행 환경을 판단하여 주변 환경 정보를 수집할 수도 있다.In addition to an acceleration sensor and a vibration sensor, the correction controller 170 may collect surrounding environment information from one or more servers (meteorological service server, electronic map server, etc.) or a navigation system providing information related to the driving environment of the vehicle. As another example, the correction controller 170 may analyze an image obtained by a stereo camera to determine illumination or a driving environment and collect surrounding environment information.

도 6 및 도 7의 실시예에 의하면, 라이다 센서(120)와 스테레오 카메라(110) 간의 보정이 적절한 시점, 또는 적절한 주기로 수행되도록 하여 센서 보정이 필요 이상으로 과도하게 반복 수행되지 않도록 할 수 있으며, 센서 보정에 요구되는 연산 자원 소모를 최소화할 수 있다.According to the embodiments of FIGS. 6 and 7 , the calibration between the lidar sensor 120 and the stereo camera 110 is performed at an appropriate time or at an appropriate cycle so that the sensor calibration is not repeatedly performed more than necessary. , computational resource consumption required for sensor calibration can be minimized.

이상에서 설명된 실시예들의 구성 중 적어도 일부는 하드웨어 구성요소, 소프트웨어 구성요소, 및/ 또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치, 방법 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(Arithmetic Logic Unit), 디지털 신호 프로세서(Digital Signal Processor), 마이크로컴퓨터, FPGA(Field Programmable Gate Array), PLU(Programmable Logic Unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다.At least some of the configurations of the embodiments described above may be implemented as hardware components, software components, and/or a combination of hardware components and software components. For example, the devices, methods and components described in the embodiments may include, for example, a processor, a controller, an arithmetic logic unit (ALU), a digital signal processor, a microcomputer, a field programmable gate (FPGA) array), programmable logic units (PLUs), microprocessors, or any other device capable of executing and responding to instructions.

처리 장치는 운영 체제 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술 분야에서 통상의 지식을 가진 자는 처리 장치가 복수 개의 처리 요소(Processing Element) 및/또는 복수 유형의 처리요소를 포함할 수 있음을 이해할 것이다.A processing device may run an operating system and one or more software applications running on the operating system. A processing device may also access, store, manipulate, process, and generate data in response to execution of software. For convenience of understanding, there are cases in which one processing device is used, but those skilled in the art know that a processing device includes a plurality of processing elements and/or a plurality of types of processing elements. It will be understood that it can include

예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(Parallel Processor) 와 같은, 다른 처리 구성(Processing configuration)도 가능하다. 소프트웨어는 컴퓨터 프로그램(Computer Program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다.For example, a processing device may include a plurality of processors or a processor and a controller. Also, other processing configurations are possible, such as a parallel processor. Software may include a computer program, code, instructions, or a combination of one or more of the foregoing, which configures a processing device to operate as desired or processes independently or collectively. You can command the device.

소프트웨어 및/ 또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody) 될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.Software and/or data may be any tangible machine, component, physical device, virtual equipment, computer storage medium or device, intended to be interpreted by or provide instructions or data to a processing device. , or may be permanently or temporarily embodied in a transmitted signal wave. The software may be distributed on networked computer systems and stored or executed in a distributed manner. Software and data may be stored on one or more computer readable media.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.The method according to the embodiment may be implemented in the form of program instructions that can be executed through various computer means and recorded on a computer readable medium. Computer readable media may include program instructions, data files, data structures, etc. alone or in combination. Program commands recorded on the medium may be specially designed and configured for the embodiment or may be known and usable to those skilled in computer software.

컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CDROM, DVD와 같은 광기록 매체(optical media) 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks and magnetic tapes, optical media such as CDROMs and DVDs, and ROMs, RAMs, and flash memories. hardware devices specially configured to store and execute program instructions, such as; Examples of program instructions include high-level language codes that can be executed by a computer using an interpreter, as well as machine language codes such as those produced by a compiler. The hardware devices described above may be configured to operate as one or more software modules to perform the operations of the embodiments, and vice versa.

이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다. 그러므로, 다른 구현들, 다른 실시예들 및 청구범위와 균등한 것들도 후술하는 청구범위의 범위에 속한다.As described above, although the embodiments have been described with limited examples and drawings, those skilled in the art can make various modifications and variations from the above description. For example, the described techniques may be performed in an order different from the method described, and/or components of the described system, structure, device, circuit, etc. may be combined or combined in a different form than the method described, or other components may be used. Or even if it is replaced or substituted by equivalents, appropriate results can be achieved. Therefore, other implementations, other embodiments, and equivalents of the claims are within the scope of the following claims.

100: 자율주행 자동차의 센서 시스템 교정 장치
110: 스테레오 카메라
120: 라이다 센서
130: 카메라 데이터 병합부
140: 라이다 데이터 병합부
150: 변환정보 산출부
160: 보정부
170: 보정 제어부
172: 주변환경정보 수집부
174: 주변환경정보 분석부
176: 보정시점 결정부100: Sensor system calibration device for self-driving cars
110: stereo camera
120: lidar sensor
130: camera data merging unit
140: lidar data merging unit
150: conversion information calculation unit
160: correction unit
170: correction control unit
172: surrounding environment information collection unit
174: surrounding environment information analysis unit
176: correction point determining unit

Claims (13)

자율주행 자동차가 주행하는 동안 상기 자율주행 자동차의 주변에 위치하는 객체들에 대해 카메라 데이터를 생성하도록 구성되는 스테레오 카메라;
상기 스테레오 카메라에 의해 생성되는 2 이상의 카메라 데이터를 병합하여 제1 포인트 클라우드 데이터를 생성하도록 구성되는 카메라 데이터 병합부;
상기 자율주행 자동차가 주행하는 동안 상기 객체들에 대해 라이다 데이터를 생성하도록 구성되는 라이다 센서;
상기 라이다 센서에 의해 생성되는 2 이상의 라이다 데이터를 병합하여 제2 포인트 클라우드 데이터를 생성하도록 구성되는 라이다 데이터 병합부;
상기 제1 포인트 클라우드 데이터와 상기 제2 포인트 클라우드 데이터 간의 변환 정보를 산출하도록 구성되는 변환정보 산출부;
상기 변환 정보를 기반으로 상기 스테레오 카메라 및 상기 라이다 센서를 보정하도록 구성되는 보정부; 및
상기 자율주행 자동차의 주변 환경정보를 분석하여 상기 라이다 센서 및 상기 스테레오 카메라의 보정 시점을 결정하도록 구성되는 보정 제어부를 포함하고,
상기 보정 제어부는:
가속도 센서를 통해 수집되는 진동 값과 충격 값이 기 설정된 기준보다 클 경우 상기 진동 값과 상기 충격 값에 비례하고;
차량이 비포장 도로를 주행하는 주행 시간에 비례하고;
차량이 기준 속도 이상으로 주행하는 주행 시간에 비례하여;
상기 보정부를 통한 보정 주기를 단축하도록 구성되고,
상기 변환정보 산출부는:
아래 [수식 1]을 통해, 상기 제1 포인트 클라우드 데이터에 대한 법선 벡터를 기준으로 상기 제2 포인트 클라우드 데이터를 정렬함으로써 오차를 최소화하는 회전 행렬과 이동 행렬을 도출하여 상기 변환 정보를 산출하도록 구성되고,
[수식 1]
Figure 112022107197463-pat00009

e는 상기 제1 포인트 클라우드 데이터와 상기 제2 포인트 클라우드 데이터 간의 오차이고,
k는 보정에 활용되는 포인트 클라우드의 개수이고,
RLp은 회전 행렬이고,
T는 이동 행렬이고,
Cp는 상기 제1 포인트 클라우드 데이터이고,
ni는 상기 제1 포인트 클라우드 데이터의 법선 벡터인, 자율주행 자동차의 센서 시스템 교정 장치.a stereo camera configured to generate camera data for objects located around the self-driving car while the self-driving car is driving;
a camera data merging unit configured to generate first point cloud data by merging two or more camera data generated by the stereo camera;
a lidar sensor configured to generate lidar data for the objects while the self-driving vehicle is driving;
a lidar data merging unit configured to generate second point cloud data by merging two or more lidar data generated by the lidar sensor;
a conversion information calculator configured to calculate conversion information between the first point cloud data and the second point cloud data;
a correction unit configured to correct the stereo camera and the LIDAR sensor based on the conversion information; and
A correction control unit configured to analyze surrounding environment information of the self-driving vehicle and determine a correction time point of the lidar sensor and the stereo camera;
The correction control unit:
When the vibration value and the impact value collected through the acceleration sensor are greater than a predetermined reference value, the vibration value and the impact value are proportional to each other;
proportional to the travel time the vehicle travels on the dirt road;
In proportion to the driving time the vehicle travels at or above the reference speed;
It is configured to shorten the correction cycle through the correction unit,
The conversion information calculator:
Through [Equation 1] below, by aligning the second point cloud data based on the normal vector for the first point cloud data, a rotation matrix and a movement matrix that minimize errors are derived to calculate the transformation information, ,
[Equation 1]
Figure 112022107197463-pat00009

e is an error between the first point cloud data and the second point cloud data;
k is the number of point clouds used for calibration,
R Lp is the rotation matrix,
T is a shift matrix,
C p is the first point cloud data,
Where n i is a normal vector of the first point cloud data, the sensor system calibration device for an autonomous vehicle. 제1항에 있어서,
상기 변환정보 산출부는:
ICP 알고리즘을 이용하여 상기 제1 포인트 클라우드 데이터와 상기 제2 포인트 클라우드 데이터 간의 회전 행렬 및 이동 행렬을 구하여 상기 변환 정보를 산출하도록 구성되는, 자율주행 자동차의 센서 시스템 교정 장치.According to claim 1,
The conversion information calculator:
An apparatus for calibrating a sensor system of an autonomous vehicle, configured to calculate the conversion information by obtaining a rotation matrix and a movement matrix between the first point cloud data and the second point cloud data using an ICP algorithm. 제2항에 있어서,
상기 보정부는:
상기 회전 행렬 및 상기 이동 행렬을 기반으로 상기 라이다 센서에 의해 획득된 포인트 클라우드 데이터를 상기 스테레오 카메라의 이미지 평면에 투영하여 상기 라이다 센서를 보정하도록 구성되는, 자율주행 자동차의 센서 시스템 교정 장치.According to claim 2,
The correction unit:
Based on the rotation matrix and the movement matrix, point cloud data obtained by the lidar sensor is projected onto an image plane of the stereo camera to calibrate the lidar sensor. 제1항에 있어서,
상기 보정부는:
상기 자율주행 자동차의 주행 중에 실시간으로 상기 제1 포인트 클라우드 데이터와 상기 제2 포인트 클라우드 데이터 간의 오차율을 확인하고;
상기 오차율이 설정된 기준 오차 이하인 경우, 상기 라이다 센서 및 상기 스테레오 카메라의 보정을 수행하지 않고;
상기 오차율이 상기 기준 오차 보다 큰 경우, 상기 라이다 센서 및 상기 스테레오 카메라를 보정하도록 구성되는, 자율주행 자동차의 센서 시스템 교정 장치.According to claim 1,
The correction unit:
checking an error rate between the first point cloud data and the second point cloud data in real time while the autonomous vehicle is driving;
When the error rate is equal to or less than a set standard error, correction of the lidar sensor and the stereo camera is not performed;
When the error rate is greater than the reference error, the sensor system calibration device for an autonomous vehicle configured to calibrate the lidar sensor and the stereo camera. 삭제delete 제4항에 있어서,
상기 보정 제어부는:
상기 자율주행 자동차의 주행 중에 상기 자율주행 자동차의 주변 환경 정보를 수집하도록 구성되는 주변환경정보 수집부;
수집된 상기 주변 환경 정보를 분석하여 상기 자율주행 자동차의 센서 보정 정확도를 예측하도록 구성되는 주변환경정보 분석부; 및
예측된 상기 센서 보정 정확도를 기반으로 상기 스테레오 카메라와 상기 라이다 센서의 보정 시점을 결정하도록 구성되는 보정시점 결정부를 포함하는, 자율주행 자동차의 센서 시스템 교정 장치.According to claim 4,
The correction control unit:
a surrounding environment information collection unit configured to collect surrounding environment information of the self-driving vehicle while the self-driving vehicle is driving;
a surrounding environment information analyzer configured to predict sensor calibration accuracy of the self-driving vehicle by analyzing the collected surrounding environment information; and
An apparatus for calibrating a sensor system of an autonomous vehicle, comprising a calibration time determining unit configured to determine calibration time points of the stereo camera and the lidar sensor based on the predicted sensor calibration accuracy. 스테레오 카메라에 의해, 자율주행 자동차가 주행하는 동안 상기 자율주행 자동차의 주변에 위치하는 객체들에 대해 카메라 데이터를 생성하는 단계;
카메라 데이터 병합부에 의해, 상기 스테레오 카메라에 의해 생성되는 2 이상의 카메라 데이터를 병합하여 제1 포인트 클라우드 데이터를 생성하는 단계;
라이다 센서에 의해, 상기 자율주행 자동차가 주행하는 동안 상기 객체들에 대해 라이다 데이터를 생성하는 단계;
라이다 데이터 병합부에 의해, 상기 라이다 센서에 의해 생성되는 2 이상의 라이다 데이터를 병합하여 제2 포인트 클라우드 데이터를 생성하는 단계;
변환정보 산출부에 의해, 상기 제1 포인트 클라우드 데이터와 상기 제2 포인트 클라우드 데이터 간의 변환 정보를 산출하는 단계;
보정부에 의해, 상기 변환 정보를 기반으로 상기 스테레오 카메라 및 상기 라이다 센서를 보정하는 단계; 및
보정 제어부에 의해, 상기 자율주행 자동차의 주변 환경정보를 분석하여 상기 라이다 센서 및 상기 스테레오 카메라의 보정 시점을 결정하는 단계를 포함하고,
상기 라이다 센서 및 상기 스테레오 카메라의 보정 시점을 결정하는 단계는:
가속도 센서를 통해 수집되는 진동 값과 충격 값이 기 설정된 기준보다 클 경우 상기 진동 값과 상기 충격 값에 비례하고;
차량이 비포장 도로를 주행하는 주행 시간에 비례하고;
차량이 기준 속도 이상으로 주행하는 주행 시간에 비례하여;
상기 스테레오 카메라 및 상기 라이다 센서를 보정하는 단계를 통한 보정 주기를 단축하도록 구성되고,
상기 제1 포인트 클라우드 데이터와 상기 제2 포인트 클라우드 데이터 간의 변환 정보를 산출하는 단계는:
아래 [수식 1]을 통해, 상기 제1 포인트 클라우드 데이터에 대한 법선 벡터를 기준으로 상기 제2 포인트 클라우드 데이터를 정렬함으로써 오차를 최소화하는 회전 행렬과 이동 행렬을 도출하여 상기 변환 정보를 산출하는 단계이고,
[수식 1]
Figure 112022107197463-pat00010

e는 상기 제1 포인트 클라우드 데이터와 상기 제2 포인트 클라우드 데이터 간의 오차이고,
k는 보정에 활용되는 포인트 클라우드의 개수이고,
RLp은 회전 행렬이고,
T는 이동 행렬이고,
Cp는 상기 제1 포인트 클라우드 데이터이고,
ni는 상기 제1 포인트 클라우드 데이터의 법선 벡터인, 자율주행 자동차의 센서 시스템 교정 방법.generating camera data for objects located around the self-driving car while the self-driving car is driving, by means of a stereo camera;
generating first point cloud data by merging two or more camera data generated by the stereo camera by a camera data merging unit;
Generating lidar data for the objects while the self-driving vehicle is driving by a lidar sensor;
generating second point cloud data by merging two or more lidar data generated by the lidar sensor by a lidar data merging unit;
calculating conversion information between the first point cloud data and the second point cloud data by a conversion information calculation unit;
Correcting, by a correction unit, the stereo camera and the LIDAR sensor based on the conversion information; and
A correction control unit analyzes surrounding environment information of the self-driving vehicle and determines a correction time point of the lidar sensor and the stereo camera,
Determining the calibration timing of the lidar sensor and the stereo camera is:
When the vibration value and the impact value collected through the acceleration sensor are greater than a predetermined reference value, the vibration value and the impact value are proportional to each other;
proportional to the travel time the vehicle travels on the dirt road;
In proportion to the driving time the vehicle travels at or above the reference speed;
It is configured to shorten a correction cycle through the step of calibrating the stereo camera and the lidar sensor,
Calculating conversion information between the first point cloud data and the second point cloud data includes:
Calculating the transformation information by deriving a rotation matrix and a translation matrix minimizing an error by aligning the second point cloud data based on the normal vector for the first point cloud data through [Equation 1] below, ,
[Equation 1]
Figure 112022107197463-pat00010

e is an error between the first point cloud data and the second point cloud data;
k is the number of point clouds used for calibration,
R Lp is the rotation matrix,
T is a shift matrix,
C p is the first point cloud data,
n i is a normal vector of the first point cloud data, a method for calibrating a sensor system of an autonomous vehicle. 제7항에 있어서,
상기 변환 정보를 산출하는 단계는:
ICP 알고리즘을 이용하여 상기 제1 포인트 클라우드 데이터와 상기 제2 포인트 클라우드 데이터 간의 회전 행렬 및 이동 행렬을 구하여 상기 변환 정보를 산출하는 단계를 포함하는, 자율주행 자동차의 센서 시스템 교정 방법.According to claim 7,
The step of calculating the conversion information is:
Calculating the transformation information by obtaining a rotation matrix and a movement matrix between the first point cloud data and the second point cloud data using an ICP algorithm. 제8항에 있어서,
상기 보정하는 단계는:
상기 회전 행렬 및 상기 이동 행렬을 기반으로 상기 라이다 센서에 의해 획득된 포인트 클라우드 데이터를 상기 스테레오 카메라의 이미지 평면에 투영하여 상기 라이다 센서를 보정하는 단계를 포함하는, 자율주행 자동차의 센서 시스템 교정 방법.According to claim 8,
The calibrating step is:
Calibrating the lidar sensor by projecting the point cloud data acquired by the lidar sensor on the image plane of the stereo camera based on the rotation matrix and the movement matrix, and calibrating the lidar sensor. method. 제7항에 있어서,
상기 보정하는 단계는:
상기 자율주행 자동차의 주행 중에 실시간으로 상기 제1 포인트 클라우드 데이터와 상기 제2 포인트 클라우드 데이터 간의 오차율을 확인하는 단계;
상기 오차율이 설정된 기준 오차 이하인 경우, 상기 라이다 센서 및 상기 스테레오 카메라의 보정을 수행하지 않는 단계; 및
상기 오차율이 상기 기준 오차 보다 큰 경우, 상기 라이다 센서 및 상기 스테레오 카메라를 보정하는 단계를 포함하는, 자율주행 자동차의 센서 시스템 교정 방법.According to claim 7,
The calibrating step is:
checking an error rate between the first point cloud data and the second point cloud data in real time while the autonomous vehicle is driving;
When the error rate is less than or equal to a set reference error, not performing correction of the lidar sensor and the stereo camera; and
and calibrating the lidar sensor and the stereo camera when the error rate is greater than the reference error. 삭제delete 제10항에 있어서,
상기 보정 시점을 결정하는 단계는:
상기 자율주행 자동차의 주행 중에 상기 자율주행 자동차의 주변 환경 정보를 수집하는 단계;
수집된 상기 주변 환경 정보를 분석하여 상기 자율주행 자동차의 센서 보정 정확도를 예측하는 단계; 및
예측된 상기 센서 보정 정확도를 기반으로 상기 스테레오 카메라와 상기 라이다 센서의 보정 시점을 결정하는 단계를 포함하는, 자율주행 자동차의 센서 시스템 교정 방법.According to claim 10,
The step of determining the correction point is:
collecting environment information of the self-driving car while the self-driving car is driving;
predicting sensor calibration accuracy of the self-driving vehicle by analyzing the collected surrounding environment information; and
A method for calibrating a sensor system of a self-driving vehicle comprising: determining a calibration time of the stereo camera and the lidar sensor based on the predicted sensor calibration accuracy. 제7항, 제8항, 제9항, 제10항 및 제12항 중 어느 한 항에 기재된 자율주행 자동차의 센서 시스템 교정 방법을 실행하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체.A computer-readable recording medium in which a program for executing the method for calibrating a sensor system of an autonomous vehicle according to any one of claims 7, 8, 9, 10, and 12 is recorded.
KR1020210012475A 2021-01-28 2021-01-28 Apparatus and method for calibration of sensor system of autonomous vehicle KR102498435B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210012475A KR102498435B1 (en) 2021-01-28 2021-01-28 Apparatus and method for calibration of sensor system of autonomous vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210012475A KR102498435B1 (en) 2021-01-28 2021-01-28 Apparatus and method for calibration of sensor system of autonomous vehicle

Publications (2)

Publication Number Publication Date
KR20220109537A KR20220109537A (en) 2022-08-05
KR102498435B1 true KR102498435B1 (en) 2023-02-13

Family

ID=82826381

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210012475A KR102498435B1 (en) 2021-01-28 2021-01-28 Apparatus and method for calibration of sensor system of autonomous vehicle

Country Status (1)

Country Link
KR (1) KR102498435B1 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102525563B1 (en) * 2022-11-30 2023-04-25 주식회사 테스트웍스 Image acquisition method using multiple lidar and camera sensor and computing device performing the same method

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007218738A (en) * 2006-02-16 2007-08-30 Kumamoto Univ Calibration device, target detection device, and calibration method
KR102012179B1 (en) 2018-04-30 2019-08-20 충북대학교 산학협력단 APPARATUS AND METHOD FOR CALIBRATING LiDAR-CAMERA BASED ON 3D PLANE EXTRATION
JP2020047276A (en) 2018-09-19 2020-03-26 バイドゥ オンライン ネットワーク テクノロジー （ベイジン） カンパニー リミテッド Method and device for calibrating sensor, computer device, medium, and vehicle

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200084934A (en) * 2018-12-20 2020-07-14 삼성전자주식회사 Apparatus for controlling driving of vehicle and method for performing calibration thereof
KR102647929B1 (en) * 2019-01-03 2024-03-15 현대모비스 주식회사 Apparatus and method for calibrating camera and lidar sensor of vehicle

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007218738A (en) * 2006-02-16 2007-08-30 Kumamoto Univ Calibration device, target detection device, and calibration method
KR102012179B1 (en) 2018-04-30 2019-08-20 충북대학교 산학협력단 APPARATUS AND METHOD FOR CALIBRATING LiDAR-CAMERA BASED ON 3D PLANE EXTRATION
JP2020047276A (en) 2018-09-19 2020-03-26 バイドゥ オンライン ネットワーク テクノロジー （ベイジン） カンパニー リミテッド Method and device for calibrating sensor, computer device, medium, and vehicle

Also Published As

Publication number Publication date
KR20220109537A (en) 2022-08-05

Similar Documents

Publication Publication Date Title
KR102483649B1 (en) Vehicle localization method and vehicle localization apparatus
JP2023523243A (en) Obstacle detection method and apparatus, computer device, and computer program
US11216705B2 (en) Object detection based on machine learning combined with physical attributes and movement patterns detection
JP6520740B2 (en) Object detection method, object detection device, and program
KR102145557B1 (en) Apparatus and method for data fusion between heterogeneous sensors
CN111998860A (en) Automatic driving positioning data verification method and device, electronic equipment and storage medium
CN104903915A (en) Method and device for monitoring the surroundings of a vehicle and method for carrying out emergency braking
JP4761156B2 (en) Feature position recognition apparatus and feature position recognition method
WO2019198076A1 (en) Real-time raw data- and sensor fusion
CN110119138A (en) For the method for self-locating of automatic driving vehicle, system and machine readable media
CN113544758B (en) Vehicle control device
CN113240756B (en) Pose change detection method and device for vehicle-mounted BSD camera and storage medium
CN110023953A (en) Information processing equipment, imaging device, apparatus control system, moving body, information processing method and computer program product
CN110413942B (en) Lane line equation screening method and screening module thereof
US11327155B2 (en) Radar sensor misalignment detection for a vehicle
KR102498435B1 (en) Apparatus and method for calibration of sensor system of autonomous vehicle
CN111986512A (en) Target distance determination method and device
US11908206B2 (en) Compensation for vertical road curvature in road geometry estimation
JP2009260475A (en) Information processor, information processing method, and program
KR20220025585A (en) Method and apparatus for estimating position
US20220404170A1 (en) Apparatus, method, and computer program for updating map
CN112651535A (en) Local path planning method and device, storage medium, electronic equipment and vehicle
JP2018120303A (en) Object detection device
CN111103584A (en) Device and method for determining height information of objects in the surroundings of a vehicle
CN114093155A (en) Traffic accident responsibility tracing method and device, computer equipment and storage medium

Legal Events

Date Code Title Description
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant